V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
YYDL
V2EX  ›  数据库

高压缩比引擎/数据库有啥好推荐?

  •  
  •   YYDL · 2018-03-21 10:23:08 +08:00 · 1749 次点击
    这是一个创建于 2426 天前的主题,其中的信息可能已经有所发展或是发生改变。

    游戏会记录许多日志(物品消耗、等级、经验等),这些日志是需要入库的

    后续会做统计、查询,但是不会很频繁

    日志量大不大? 这个看游戏成不成功....

    1.我有考虑过 ELK,但是这种方式不太适合

    2.尝试过 mariadb tokudb,使用默认压缩算法 zlib 3G 1000W 行的数据 load 到数据库后,数据+索引 1G 左右(infobright 300M 左右)


    原来是一直用了 infobright 的社区版(7-8 年了),官方社区版很久之前就不支持了,老板也不舍得花钱买...

    janxin
        1
    janxin  
       2018-03-21 11:03:16 +08:00   ❤️ 1
    Terark ?
    owenliang
        2
    owenliang  
       2018-03-21 11:05:30 +08:00 via Android   ❤️ 1
    试试俄罗斯人写的那个。
    YYDL
        3
    YYDL  
    OP
       2018-03-21 11:25:11 +08:00
    @janxin Terark 刚去看了一下,非商业用途免费, 老板估计会拒绝
    YYDL
        4
    YYDL  
    OP
       2018-03-21 11:27:16 +08:00
    @owenliang sphinx ?
    feverzsj
        5
    feverzsj  
       2018-03-21 11:30:56 +08:00   ❤️ 1
    硬盘都是白菜价,没必要在这种问题上浪费时间
    YYDL
        6
    YYDL  
    OP
       2018-03-21 11:35:22 +08:00
    @feverzsj 说得也有道理...
    limitsy
        7
    limitsy  
       2018-03-21 12:26:47 +08:00
    不是很理解。ELK 为什么不太合适?
    swulling
        8
    swulling  
       2018-03-21 12:31:09 +08:00 via iPhone   ❤️ 1
    高压缩比是 CPU 换硬盘,值不值就要看你的场景了
    MeteorCat
        9
    MeteorCat  
       2018-03-21 12:32:09 +08:00 via Android   ❤️ 1
    我明确告诉你,数据量贼大!我们去年 10 月份开坑的一个游戏项目,用的 mongDB,现在单单活动数据量记录的库就超过 10G,游戏产生的数据量比传统的 Web 更大更密集,我们过年前加了 50G 硬盘内存,估计下半年又得加一次!
    wooyuntest
        10
    wooyuntest  
       2018-03-21 12:40:02 +08:00   ❤️ 1
    看一半标题,我第一个想到的是马自达
    akira
        11
    akira  
       2018-03-21 12:41:35 +08:00   ❤️ 1
    你一天的工资拿来加硬盘空间 已经够你们用几年了
    xuyl
        12
    xuyl  
       2018-03-21 12:47:39 +08:00   ❤️ 1
    clickhouse, 列式数据库; influxdb,时序数据库
    glues
        13
    glues  
       2018-03-21 13:21:44 +08:00   ❤️ 1
    创驰蓝天,高达 13 : 1 的压缩比
    kkfnui
        14
    kkfnui  
       2018-03-21 13:36:53 +08:00 via Android   ❤️ 1
    这个数据量也不大,几百 G 的数据也可以放在 MySQL 中,分库分表就是麻烦点。等到了那个量自然可以有对应的资源投入做事了。
    zts1993
        15
    zts1993  
       2018-03-21 14:10:05 +08:00
    @glues #13 一定要这么皮么
    YYDL
        16
    YYDL  
    OP
       2018-03-21 14:22:04 +08:00
    @limitsy 游戏研发好后,会代理给一些平台,各个平台的数据要独立分开,如果用 ELK,就会导致每个平台都要搭建一个
    YYDL
        17
    YYDL  
    OP
       2018-03-21 14:25:54 +08:00
    @akira
    @swulling
    加硬盘确实是最快的解决方法
    limitsy
        18
    limitsy  
       2018-03-21 14:58:08 +08:00
    @YYDL 那难道不是看你们服务器方案么?服务器都单独搭建了的话。ELK 单独搭建一套也不是什么事情吧?如果不分开。ELK 也可以使用区分 index 之类的方式啊。
    sujin190
        19
    sujin190  
       2018-03-21 15:20:38 +08:00
    @MeteorCat #9 黑的可以。。肯定是吧 T 协程了 G 了,2333
    sujin190
        20
    sujin190  
       2018-03-21 15:26:01 +08:00
    认真说起来,压缩比高的,使用时 cpu 压缩解压缩的消耗远远超过硬盘正常存储的消耗了吧,你要是弄几个 T,解压都又能要等一天,这还怎么用啊
    MeteorCat
        21
    MeteorCat  
       2018-03-21 19:02:25 +08:00 via Android
    @sujin190 更惨的的后台开发那些,业务量一大,关联这么多表+数据查询,一个页面卡几分钟才更新,哈哈哈哈
    min
        22
    min  
       2018-03-21 23:55:43 +08:00
    1 天 10g 可能还算比较有点量,好几个月才 10g 算什么?

    7 楼 12 楼的工具可以看看
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2698 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:25 · PVG 16:25 · LAX 00:25 · JFK 03:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.