V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
rogergood
V2EX  ›  程序员

关于时空大数据的存储和查询,目前业界常见的解决方案以及难点有哪些?

  •  
  •   rogergood · 2019-03-11 20:56:27 +08:00 · 3088 次点击
    这是一个创建于 2082 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这里的时空大数据指的是包含空间信息(经度、维度)和时间信息的多维度数据。常见的应用场景包括打车服务(指定时间段指定区域的范围查询)、指定区域内的广告推荐和投放等。

    这个是毕设在做的东西,目前也调研了一些方案

    • 基于 PostgreSQL+PostGIS,这种对地理信息有着较好的支持。

    • 有论文提出基于 HBase 等这种分布式的 NoSQL 来进行改进,使其支持这种多维度的数据查询。

    目前比较疑惑的有下面一些

    • 目前业界常见的存储和查询的解决方案是怎样的?用 PostgreSQL+PostGIS 这种传统的数据库,大数据量下扩展和维护成本似乎很高,时间维度的支持也较为一般。而 HBase 这些对多维度信息的查询功能较单一,只能满足某些特定的查询需求。

    • 业界在这方面的难点还有哪些?

    6 条回复    2019-03-12 09:56:30 +08:00
    TypeErrorNone
        1
    TypeErrorNone  
       2019-03-11 21:28:05 +08:00
    1
    jzmws
        2
    jzmws  
       2019-03-11 21:43:26 +08:00
    你是搞 gis???
    rust
        3
    rust  
       2019-03-11 23:28:15 +08:00 via Android   ❤️ 1
    MongoDB
    hilbertz
        4
    hilbertz  
       2019-03-11 23:49:50 +08:00   ❤️ 1
    只有 postgis 的 n 维索引才能真正高效的支持时空索引,其他基于时空填充曲线和 btree 的索引都是低效的,时空数据本身就能很好的分区,postgresql 完全能处理海量数据
    cheava
        5
    cheava  
       2019-03-12 02:37:24 +08:00 via Android   ❤️ 2
    基于 hbase 的时空数据库 geomesa 了解下?
    rogergood
        6
    rogergood  
    OP
       2019-03-12 09:56:30 +08:00
    @jzmws 嗯最近以及后一阶段会搞 gis 相关的大数据

    @hilbertz 请问一下,postgresql 表是有大小限制的,在处理海量数据时,是不是需要人为的按照时间(比如说年份)、地理区域进行分表或分库的操作?

    @cheava 好的,我看一下

    @rust 我看到一篇博客( https://www.cnblogs.com/zhenbianshu/p/6817569.html )里提到 MongoDB 中的空间索引在较大数据量下,性能较 postgis 会有一定的下降
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1184 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:06 · PVG 02:06 · LAX 10:06 · JFK 13:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.