V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jakezh
V2EX  ›  问与答

大佬们,有 2T 数据需要在多台服务器之间共享

  •  
  •   jakezh · 2019-11-06 11:46:24 +08:00 · 2367 次点击
    这是一个创建于 1844 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount

    但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗

    mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2

    用的参数如上,是我参数选的不对吗

    21 条回复    2019-11-08 12:56:29 +08:00
    jakezh
        1
    jakezh  
    OP
       2019-11-06 11:51:02 +08:00
    为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘
    成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了
    一月少一台 iPhone。。。。不开心
    greatdancing
        2
    greatdancing  
       2019-11-06 11:53:47 +08:00 via Android
    小一个级别用的 btsync
    jakezh
        3
    jakezh  
    OP
       2019-11-06 11:57:25 +08:00
    @greatdancing #2
    不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了
    jakezh
        4
    jakezh  
    OP
       2019-11-06 11:57:54 +08:00
    等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱
    chinuno
        5
    chinuno  
       2019-11-06 12:03:58 +08:00 via Android
    ipfs ?
    icekingcy
        6
    icekingcy  
       2019-11-06 12:06:28 +08:00 via iPhone
    歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S
    binux
        7
    binux  
       2019-11-06 12:11:08 +08:00 via Android
    EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。
    greatdancing
        8
    greatdancing  
       2019-11-06 12:13:04 +08:00 via Android
    @jakezh 你的共享指的是?
    jakezh
        9
    jakezh  
    OP
       2019-11-06 12:13:32 +08:00
    @binux #7
    感谢大佬,我去查一下 log
    jakezh
        10
    jakezh  
    OP
       2019-11-06 12:18:24 +08:00
    @greatdancing #8
    其实只需要公用读,不需要公用写
    lynnX
        11
    lynnX  
       2019-11-06 12:38:36 +08:00
    https://juicefs.com/ 这个应该可以解决你的问题
    johnniang
        12
    johnniang  
       2019-11-06 12:41:29 +08:00 via Android
    https://min.io/ 不知道这个是否可行
    snw
        13
    snw  
       2019-11-06 17:33:40 +08:00 via Android
    @greatdancing
    BTSync 之类的双向实时同步不靠谱的,被坑过。
    greatdancing
        14
    greatdancing  
       2019-11-06 17:40:00 +08:00 via Android
    @snw 请问现在的解决方案是?
    openbsd
        15
    openbsd  
       2019-11-06 17:54:00 +08:00
    10 台都要写还是只读 ?
    NFS 问题不大啊,试试只读挂载 ?
    openbsd
        16
    openbsd  
       2019-11-06 17:57:18 +08:00
    .....我好像偏题了.......[狗头保命]
    ungrown
        17
    ungrown  
       2019-11-06 18:44:13 +08:00 via Android
    @icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。
    flynaj
        18
    flynaj  
       2019-11-06 18:50:38 +08:00 via Android
    syncthing 同步一下 。
    yuyuko
        19
    yuyuko  
       2019-11-07 19:02:29 +08:00
    10 台,每台吞吐多少?到底是多慢讲一下啊
    jakezh
        20
    jakezh  
    OP
       2019-11-07 21:17:01 +08:00
    @yuyuko #19
    每天每台平均读 1.5T 左右吧
    yuyuko
        21
    yuyuko  
       2019-11-08 12:56:29 +08:00
    @jakezh 别每天啊。。。1 台 /天 1.5T 一台 12MB/s ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2861 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:01 · PVG 15:01 · LAX 23:01 · JFK 02:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.