V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
jakezh
V2EX  ›  问与答

大佬们,有 2T 数据需要在多台服务器之间共享

  •  
  •   jakezh · Nov 6, 2019 · 2972 views
    This topic created in 2369 days ago, the information mentioned may be changed or developed.

    目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount

    但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗

    mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2

    用的参数如上,是我参数选的不对吗

    21 replies    2019-11-08 12:56:29 +08:00
    jakezh
        1
    jakezh  
    OP
       Nov 6, 2019
    为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘
    成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了
    一月少一台 iPhone。。。。不开心
    greatdancing
        2
    greatdancing  
       Nov 6, 2019 via Android
    小一个级别用的 btsync
    jakezh
        3
    jakezh  
    OP
       Nov 6, 2019
    @greatdancing #2
    不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了
    jakezh
        4
    jakezh  
    OP
       Nov 6, 2019
    等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱
    chinuno
        5
    chinuno  
       Nov 6, 2019 via Android
    ipfs ?
    icekingcy
        6
    icekingcy  
       Nov 6, 2019 via iPhone
    歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S
    binux
        7
    binux  
       Nov 6, 2019 via Android
    EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。
    greatdancing
        8
    greatdancing  
       Nov 6, 2019 via Android
    @jakezh 你的共享指的是?
    jakezh
        9
    jakezh  
    OP
       Nov 6, 2019
    @binux #7
    感谢大佬,我去查一下 log
    jakezh
        10
    jakezh  
    OP
       Nov 6, 2019
    @greatdancing #8
    其实只需要公用读,不需要公用写
    lynnX
        11
    lynnX  
       Nov 6, 2019
    https://juicefs.com/ 这个应该可以解决你的问题
    johnniang
        12
    johnniang  
       Nov 6, 2019 via Android
    https://min.io/ 不知道这个是否可行
    snw
        13
    snw  
       Nov 6, 2019 via Android
    @greatdancing
    BTSync 之类的双向实时同步不靠谱的,被坑过。
    greatdancing
        14
    greatdancing  
       Nov 6, 2019 via Android
    @snw 请问现在的解决方案是?
    openbsd
        15
    openbsd  
       Nov 6, 2019
    10 台都要写还是只读 ?
    NFS 问题不大啊,试试只读挂载 ?
    openbsd
        16
    openbsd  
       Nov 6, 2019
    .....我好像偏题了.......[狗头保命]
    ungrown
        17
    ungrown  
       Nov 6, 2019 via Android
    @icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。
    flynaj
        18
    flynaj  
       Nov 6, 2019 via Android
    syncthing 同步一下 。
    yuyuko
        19
    yuyuko  
       Nov 7, 2019
    10 台,每台吞吐多少?到底是多慢讲一下啊
    jakezh
        20
    jakezh  
    OP
       Nov 7, 2019
    @yuyuko #19
    每天每台平均读 1.5T 左右吧
    yuyuko
        21
    yuyuko  
       Nov 8, 2019
    @jakezh 别每天啊。。。1 台 /天 1.5T 一台 12MB/s ?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2371 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 11:01 · PVG 19:01 · LAX 04:01 · JFK 07:01
    ♥ Do have faith in what you're doing.