有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket？

bucket

镜像

可靠

37 replies • 2018-10-24 09:56:04 +08:00

sNullp

Oct 23, 2018

1

楼主是要一次性上传还是要支持增量更新？

isCyan

Oct 23, 2018 via Android

2

minio client
github.com/minio/mc
有 mirror 命令，我用起来还可以

plqws

Oct 23, 2018

3

用 s3 sdk 写个这种功能的同步工具应该不难

Em5O7B1JGfjQnBry

Oct 23, 2018 via Android

4

S3-fuse

Livid

MOD

OP

PRO

Oct 23, 2018

5

@sNullp 能够靠谱地一次性传上去就好。

fireapp

Oct 23, 2018 via iPhone

1

6

s3fs，把 s3 bucket 挂载成本地磁盘，然后 mv

Livid

MOD

OP

PRO

Oct 23, 2018

7

@fireapp 理论上这样是不是也可以用 rsync 了？

caizixian

Oct 23, 2018

1

8

`aws s3 sync`?

Xrong

Oct 23, 2018

9

https://aws.amazon.com/cli/ 用官方的 cli 就行了

mangoDB

Oct 23, 2018

10

官网应该有对应的 s3fs 吧，我猜测的。

imnpc

Oct 23, 2018

11

@Livid 挂载以后可以 rsync 但是读写次数会很高以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写

fireapp

Oct 23, 2018 via iPhone

1

12

@Livid 透明的，跟本地盘一样

Vieufoux

Oct 23, 2018

13

用 aws s3 cp 命令
https://docs.aws.amazon.com/cli/latest/reference/s3/

kslr

Oct 23, 2018 via Android

14

Rclone

kslr

Oct 23, 2018 via Android

15

我每天都要同步几百 g 的数据

ayang23

Oct 23, 2018

16

https://rclone.org/

orzjerry

Oct 23, 2018

17

s3fs 可以 mount 到本地当作本地磁盘，rsync 也是可以的但是磁盘性能真的是不好。

lynnX

Oct 23, 2018

18

GoodSync 一直在用很方便

xw

Oct 23, 2018

19

s3cmd

Les1ie

Oct 23, 2018

1

20

让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)

iConnect

Oct 23, 2018

22

比较好奇 v 站怎么一攻击就死的硬硬的，没有一点复活能力（除了等站长起床）

iConnect

Oct 23, 2018

23

@Les1ie

devtk

Oct 23, 2018

24

Mountain Duck

sunnyadamm

Oct 23, 2018

25

@Les1ie 周天 504，不是昨天

zhaogaz

Oct 23, 2018

26

群晖就有这功能。我觉得挺好的

ReVanTis

Oct 23, 2018

27

注意一点，s3 并不是文件系统而是面向对象的存储。
试图从文件系统直接进行同步可能不能保留所有的文件信息，包括权限、修改日期等。

likuku

Oct 23, 2018

28

记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3

likuku

Oct 23, 2018

29

#28 找到了：

"管理对象
高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同，使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

from:
通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html

sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html