jakezh
V2EX  ›  问与答

大佬们,有 2T 数据需要在多台服务器之间共享

  •  
  •   jakezh · Nov 6, 2019 · 3598 views
    This topic created in 2556 days ago, the information mentioned may be changed or developed.

    目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount

    但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗

    mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2

    用的参数如上,是我参数选的不对吗

    21 replies  •  2019-11-08 12:56:29 +08:00
    jakezh
    jakezh
    OP
    Nov 6, 2019
    1
    为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘
    成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了
    一月少一台 iPhone。。。。不开心
    greatdancing
    greatdancing
    Nov 6, 2019 via Android
    2
    小一个级别用的 btsync
    jakezh
    jakezh
    OP
    Nov 6, 2019
    3
    @greatdancing #2
    不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了
    jakezh
    jakezh
    OP
    Nov 6, 2019
    4
    等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱
    chinuno
    chinuno
    Nov 6, 2019 via Android
    5
    ipfs ?
    icekingcy
    icekingcy
    Nov 6, 2019 via iPhone
    6
    歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S
    binux
    binux
    Nov 6, 2019 via Android
    7
    EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。
    greatdancing
    greatdancing
    Nov 6, 2019 via Android
    8
    @jakezh 你的共享指的是?
    jakezh
    jakezh
    OP
    Nov 6, 2019
    9
    @binux #7
    感谢大佬,我去查一下 log
    jakezh
    jakezh
    OP
    Nov 6, 2019
    10
    @greatdancing #8
    其实只需要公用读,不需要公用写
    lynnX
    lynnX
    Nov 6, 2019
    11
    https://juicefs.com/ 这个应该可以解决你的问题
    johnniang
    johnniang
    Nov 6, 2019 via Android
    12
    https://min.io/ 不知道这个是否可行
    snw
    snw
    Nov 6, 2019 via Android
    13
    @greatdancing
    BTSync 之类的双向实时同步不靠谱的,被坑过。
    greatdancing
    greatdancing
    Nov 6, 2019 via Android
    14
    @snw 请问现在的解决方案是?
    openbsd
    openbsd
    Nov 6, 2019
    15
    10 台都要写还是只读 ?
    NFS 问题不大啊,试试只读挂载 ?
    openbsd
    openbsd
    Nov 6, 2019
    16
    .....我好像偏题了.......[狗头保命]
    ungrown
    ungrown
    Nov 6, 2019 via Android
    17
    @icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。
    flynaj
    flynaj
    Nov 6, 2019 via Android
    18
    syncthing 同步一下 。
    yuyuko
    yuyuko
    Nov 7, 2019
    19
    10 台,每台吞吐多少?到底是多慢讲一下啊
    jakezh
    jakezh
    OP
    Nov 7, 2019
    20
    @yuyuko #19
    每天每台平均读 1.5T 左右吧
    yuyuko
    yuyuko
    Nov 8, 2019
    21
    @jakezh 别每天啊。。。1 台 /天 1.5T 一台 12MB/s ?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5205 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 59ms · UTC 02:00 · PVG 10:00 · LAX 18:00 · JFK 21:00
    ♥ Do have faith in what you're doing.