rosicky1985
V2EX  ›  Hadoop

hbase lattice 靠谱吗?我打算做一个基于列式存储的 bi 解决方案

  •  
  •   rosicky1985 · Feb 15, 2015 · 3809 views
    This topic created in 4130 days ago, the information mentioned may be changed or developed.

    各位:

    最近打算做一个基于列式存储的bi解决方案,主要需求和痛点如下:

    • 事实数据和数据立方体要时分离清晰的两层
    • 数据立方体需要支持灵活的维度,有限的度量。因为业务上的维度非常多,我们也很难预料在哪些维度上会有报表和分析的需求,因此打算做一个支持灵活维度的方案。由于维度很多,彼此相乘的全量空间会非常大,因此用传统关系型数据库存储一定不灵。
    • 支持批处理。除了报表以外,我们会有一些业务场景需要批处理数据立方体。例如预测需要一下子热起来很多历史数据。体系外的数据access肯定不灵。
    • 需要有olap展现层。因为我们发现case by case做报表和分析成本很高。
    • 数据立方体需要支持非常快的数据更新速度。因为理论上,我们的系统应该提供实时的数据反馈。

    做了一段时间的技术预研,找到一个开源软件HBase-Lattice,应该是比较新的,貌似还在更新。不过网上资料不多,有没有用过的兄弟一起讨论一下坑在哪里。

    P.S 1 lattice的定位不是解决以上所有问题,仅解决olap的展现层。甚至更小,仅为olap展现层提供数据。这个论点成立吗?有坑吗?这是我的疑问。
    P.S 2 还有一个备案kylin

    谢谢各位。

    1 replies    2016-11-24 19:31:51 +08:00
    jerry14
        1
    jerry14  
       Nov 24, 2016
    请问楼主后来用的 kylin ?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   936 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 19:10 · PVG 03:10 · LAX 12:10 · JFK 15:10
    ♥ Do have faith in what you're doing.