• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zk123
V2EX  ›  程序员

十亿级数据报表,选用什么数据库查询比较快

  •  
  •   zk123 ·
    zk-123 · Nov 19, 2020 · 6496 views
    This topic created in 2001 days ago, the information mentioned may be changed or developed.

    请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

    (最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

    28 replies    2023-01-14 11:02:42 +08:00
    shakeyo
        1
    shakeyo  
       Nov 19, 2020
    mysql+异步队列计算足够简单足够满足需求了
    qiayue
        2
    qiayue  
    PRO
       Nov 19, 2020   ❤️ 2
    ClickHouse
    opengps
        3
    opengps  
       Nov 19, 2020
    这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
    另外,硬盘介质一定要快,尽可能用好的 ssd
    chiva
        4
    chiva  
       Nov 19, 2020 via iPhone
    单查询 mysql 完全满足啊
    nuk
        5
    nuk  
       Nov 19, 2020
    有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
    freemoon
        6
    freemoon  
       Nov 19, 2020
    ck #2
    Wincer
        7
    Wincer  
       Nov 19, 2020
    clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
    wangyanrui
        8
    wangyanrui  
       Nov 19, 2020 via Android   ❤️ 1
    看查询条件是什么样子,不然没法下定论
    zk123
        9
    zk123  
    OP
       Nov 19, 2020
    @opengps @wangyanrui 主要聚合统计偏多
    qiayue
        10
    qiayue  
    PRO
       Nov 19, 2020
    不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
    vincent7245
        11
    vincent7245  
       Nov 19, 2020
    要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
    samuel
        12
    samuel  
       Nov 19, 2020
    ClickHouse
    lucyplay
        13
    lucyplay  
       Nov 19, 2020
    ck
    lixintcwdsg
        14
    lixintcwdsg  
       Nov 19, 2020
    clickhouse 解决你的所有问题
    yangqingrong
        15
    yangqingrong  
       Nov 19, 2020 via Android   ❤️ 1
    mycat
    inwar
        16
    inwar  
       Nov 19, 2020 via Android
    Ck 或者 es
    hangszhang
        17
    hangszhang  
       Nov 19, 2020
    统计需求多 mysql 肯定不行, clickhouse 吧
    yangzh
        18
    yangzh  
       Nov 19, 2020 via iPhone
    clickhouse?
    rapperx2
        19
    rapperx2  
       Nov 20, 2020
    clickhouse +1
    Cowhitewhite
        20
    Cowhitewhite  
       Nov 20, 2020
    vertica ?
    NillSpake
        21
    NillSpake  
       Nov 20, 2020
    clickhouse +1
    IDAEngine
        22
    IDAEngine  
       Nov 20, 2020 via iPhone
    clickhouse +1
    superman2
        23
    superman2  
       Nov 20, 2020
    回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了
    superman2
        24
    superman2  
       Nov 20, 2020
    @yangqingrong 好久没有在头条上见到你了
    oneoyn
        25
    oneoyn  
       Nov 20, 2020
    分布式数据库 mycat
    zk123
        26
    zk123  
    OP
       Dec 20, 2020
    感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。
    zk123
        27
    zk123  
    OP
       May 20, 2021
    后又换成了 Clickhouse
    L0L
        28
    L0L  
       Jan 14, 2023
    @zk123 补个楼,老哥 Clickhouse 用起来怎么样呢?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   959 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 106ms · UTC 22:04 · PVG 06:04 · LAX 15:04 · JFK 18:04
    ♥ Do have faith in what you're doing.