SunshineJohn
V2EX  ›  问与答

大数据多维度数据分析问题请教

  •  
  •   SunshineJohn · Aug 3, 2017 · 2209 views
    This topic created in 3240 days ago, the information mentioned may be changed or developed.

    从一张用户表(字段包括:日期、业务 id、渠道、版本、uid ;已 groupby,表记录是唯一的)进行数据分析,维度包括:日期、业务 id、渠道、版本。当前端查看结果,筛选条件可以是多个维度的各种组合,不同的业务 id、渠道、版本,uid 可以相同,因此根据条件做 sum 肯定不能满足需求的,请问如何实现?现在知道的一个笨方法是:每种组合都分析一遍。请大神指点,谢谢!

    WhoMercy
        1
    WhoMercy  
       Aug 3, 2017 via Android
    1.分析热点数据,进行预统计;(如前一天、七天、三十天)
    2.缓存数据组合,提高组合数据命中率;(一级缓存、二级缓存)
    ……
    rockyou12
        2
    rockyou12  
       Aug 3, 2017
    给用户看还是给自己人看?给自己人看的话直接倒进 elasticsearch,用 kibana 去看,啥都不用写
    SunshineJohn
        3
    SunshineJohn  
    OP
       Aug 3, 2017
    SunshineJohn
        4
    SunshineJohn  
    OP
       Aug 3, 2017
    @WhoMercy 谢谢回复,刚刚从别人那里得到好像可以用 Cube 实现。正在研究。

    @rockyou12 自己内部开发,所有前后端自己做。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   953 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 20:10 · PVG 04:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.