V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
V2EX  ›  Amazon Web Services

有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket?

  •  
  •   Livid · 2018-10-23 09:12:35 +08:00 · 6653 次点击
    这是一个创建于 2208 天前的主题,其中的信息可能已经有所发展或是发生改变。
    37 条回复    2018-10-24 09:56:04 +08:00
    sNullp
        1
    sNullp  
       2018-10-23 09:13:45 +08:00
    楼主是要一次性上传还是要支持增量更新?
    isCyan
        2
    isCyan  
       2018-10-23 09:14:32 +08:00 via Android
    minio client
    github.com/minio/mc
    有 mirror 命令,我用起来还可以
    plqws
        3
    plqws  
       2018-10-23 09:15:04 +08:00
    用 s3 sdk 写个这种功能的同步工具应该不难
    svenFeng
        4
    svenFeng  
       2018-10-23 09:15:19 +08:00 via Android
    S3-fuse
    Livid
        5
    Livid  
    MOD
    OP
       2018-10-23 09:23:40 +08:00
    @sNullp 能够靠谱地一次性传上去就好。
    fireapp
        6
    fireapp  
       2018-10-23 09:26:35 +08:00 via iPhone   ❤️ 1
    s3fs,把 s3 bucket 挂载成本地磁盘,然后 mv
    Livid
        7
    Livid  
    MOD
    OP
       2018-10-23 09:28:44 +08:00
    @fireapp 理论上这样是不是也可以用 rsync 了?
    caizixian
        8
    caizixian  
       2018-10-23 09:31:22 +08:00   ❤️ 1
    `aws s3 sync`?
    Xrong
        9
    Xrong  
       2018-10-23 09:32:56 +08:00
    https://aws.amazon.com/cli/ 用官方的 cli 就行了
    mangoDB
        10
    mangoDB  
       2018-10-23 09:33:53 +08:00
    官网应该有对应的 s3fs 吧,我猜测的。
    imnpc
        11
    imnpc  
       2018-10-23 09:35:51 +08:00
    @Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写
    fireapp
        12
    fireapp  
       2018-10-23 09:37:16 +08:00 via iPhone   ❤️ 1
    @Livid 透明的,跟本地盘一样
    Vieufoux
        13
    Vieufoux  
       2018-10-23 09:38:47 +08:00
    kslr
        14
    kslr  
       2018-10-23 09:50:40 +08:00 via Android
    Rclone
    kslr
        15
    kslr  
       2018-10-23 09:51:48 +08:00 via Android
    我每天都要同步几百 g 的数据
    ayang23
        16
    ayang23  
       2018-10-23 09:51:56 +08:00
    orzjerry
        17
    orzjerry  
       2018-10-23 09:58:20 +08:00
    s3fs 可以 mount 到本地当作本地磁盘,rsync 也是可以的但是磁盘性能真的是不好。
    lynnX
        18
    lynnX  
       2018-10-23 10:02:14 +08:00
    GoodSync 一直在用 很方便
    xw
        19
    xw  
       2018-10-23 10:11:48 +08:00
    s3cmd
    Les1ie
        20
    Les1ie  
       2018-10-23 10:21:43 +08:00   ❤️ 1
    让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)
    iConnect
        22
    iConnect  
       2018-10-23 10:37:51 +08:00
    比较好奇 v 站怎么一攻击就死的硬硬的,没有一点复活能力(除了等站长起床)
    iConnect
        23
    iConnect  
       2018-10-23 10:38:04 +08:00
    kios
        24
    kios  
       2018-10-23 10:42:44 +08:00
    Mountain Duck
    sunnyadamm
        25
    sunnyadamm  
       2018-10-23 11:09:12 +08:00
    @Les1ie 周天 504,不是昨天
    zhaogaz
        26
    zhaogaz  
       2018-10-23 11:17:15 +08:00
    群晖就有这功能。 我觉得挺好的
    ReVanTis
        27
    ReVanTis  
       2018-10-23 11:32:32 +08:00
    注意一点,s3 并不是文件系统而是面向对象的存储。
    试图从文件系统直接进行同步可能不能保留所有的文件信息,包括权限、修改日期等。
    likuku
        28
    likuku  
       2018-10-23 14:20:14 +08:00
    记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3
    likuku
        29
    likuku  
       2018-10-23 14:24:56 +08:00
    #28 找到了:

    "管理对象
    高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同,使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

    from:
    通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html


    sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
    PureWhiteWu
        30
    PureWhiteWu  
       2018-10-23 14:29:12 +08:00
    我是用的 cloudmounter,感觉还不错
    pythonee
        31
    pythonee  
       2018-10-23 14:35:28 +08:00
    我也有同样的诉求
    laxenade
        32
    laxenade  
       2018-10-23 16:37:09 +08:00 via Android
    题外话,建议站长顺便把多版本打开(
    kennylam777
        33
    kennylam777  
       2018-10-23 17:54:25 +08:00
    rclone +1, 因為有多線程
    phithon
        34
    phithon  
       2018-10-23 18:04:05 +08:00
    一直用的 https://github.com/s3tools/s3cmd
    直接可以把整个目录传上去
    cxbig
        35
    cxbig  
       2018-10-23 18:46:03 +08:00
    做備份用 aws s3 sync 配合 S3 版本控制就不錯
    再簡單一點用 aws s3 cp --recursive 速度快些
    不適合大批量小文件,效率不高。服務器在 AWS 之外的也會影響傳輸效率
    mattx
        36
    mattx  
       2018-10-23 19:33:11 +08:00
    @lynnX goodsync 挺贵的。
    lynnX
        37
    lynnX  
       2018-10-24 09:56:04 +08:00
    @mattx #36 嗯,是的!之前有限免弄了一个。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2538 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:29 · PVG 23:29 · LAX 07:29 · JFK 10:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.