V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qwingmix
V2EX  ›  问与答

数据统计分析求轮子,指标监测方面

  •  
  •   qwingmix · 2020-03-24 17:38:54 +08:00 · 1178 次点击
    这是一个创建于 1703 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目目前通过第三方数据统计系统(相当于百度统计)采集数据,通过 API 可以源源不断地获取指标,我的想法是阶段性地把指标保存在本地数据库,比如每周下载一次,然后我可以知道这周的指标,对于上周,或者过去一个月的均值,是什么样的变化水平。 当有些指标震荡下跌的时候,最好他还可以主动通知我,我好赶紧通知运营,产品相关同事去补坑。

    分布式要求不高,但数据量也不小。

    语言限定:java(优先),python

    求指教。

    8 条回复    2020-03-24 22:50:46 +08:00
    123444a
        1
    123444a  
       2020-03-24 17:50:32 +08:00 via Android
    数据量不小什么意思,不是统计数字么,原始数据么么么么,统计数字随便玩
    qwingmix
        2
    qwingmix  
    OP
       2020-03-24 17:56:03 +08:00
    @123444a 指标很多,如果维度细分的话就更多, 要将以日为粒度的数据做按周,按月统计。
    p2pCoder
        3
    p2pCoder  
       2020-03-24 17:58:40 +08:00
    时序数据?
    123444a
        4
    123444a  
       2020-03-24 18:09:45 +08:00 via Android
    apache druid 吧,简单
    123444a
        5
    123444a  
       2020-03-24 18:10:17 +08:00 via Android
    @p2pCoder 按他说不是原始上报数据
    wittyfans
        6
    wittyfans  
       2020-03-24 20:15:12 +08:00 via iPhone
    每天抓一次数据存到数据库就行了,你没说具体遇到的问题,也不好给建议。
    mnssbe
        7
    mnssbe  
       2020-03-24 22:36:16 +08:00
    你还是存原始数据吧,想要统计什么都能弄出来
    xe2vfans
        8
    xe2vfans  
       2020-03-24 22:50:46 +08:00
    连接 api,获取数据,连接数据库,写入数据,然后想做什么分析都可以了,
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3372 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 04:45 · PVG 12:45 · LAX 20:45 · JFK 23:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.