V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
rrfeng
V2EX  ›  问与答

每年递增 2000w 每个 10k 左右大小的文件,需要可靠的存储,访问日志,方便备份,有哪些选择?

  •  
  •   rrfeng · 2013-09-28 10:36:59 +08:00 · 2343 次点击
    这是一个创建于 4074 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前是放在数据库中,可靠性、备份、操作记录都很好,但是已经不堪重负

    有什么好的建议呢?请大家畅所欲言,待我慢慢研究……


    访问速度要求不是很高。
    5 条回复    1970-01-01 08:00:00 +08:00
    aoyoo
        1
    aoyoo  
       2013-09-28 10:43:51 +08:00
    存储大量的小文件,我第一反应就是淘宝的tfs。
    yangzh
        2
    yangzh  
       2013-09-28 10:45:51 +08:00
    redis?
    vibbow
        3
    vibbow  
       2013-09-28 21:16:40 +08:00
    vhd ?
    gfreezy
        4
    gfreezy  
       2013-09-28 22:00:57 +08:00
    豆瓣的 beansdb
    Lax
        5
    Lax  
       2013-09-28 22:26:54 +08:00
    每年200G?这数量不算大,考虑的主要参数是访问量,对应的系统参数则是iops可能成为瓶颈。

    单机应该可以考虑。RAID,SSD都可以上,另加一台备份,或者用DRBD做同步。
    分布式文件系统的话,MooseFS也能扛住了。或者MogileFS。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2839 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 08:39 · PVG 16:39 · LAX 00:39 · JFK 03:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.