1
sNullp 2018-10-23 09:13:45 +08:00
楼主是要一次性上传还是要支持增量更新?
|
2
isCyan 2018-10-23 09:14:32 +08:00 via Android
|
3
plqws 2018-10-23 09:15:04 +08:00
用 s3 sdk 写个这种功能的同步工具应该不难
|
4
svenFeng 2018-10-23 09:15:19 +08:00 via Android
S3-fuse
|
6
fireapp 2018-10-23 09:26:35 +08:00 via iPhone 1
s3fs,把 s3 bucket 挂载成本地磁盘,然后 mv
|
8
caizixian 2018-10-23 09:31:22 +08:00 1
`aws s3 sync`?
|
9
Xrong 2018-10-23 09:32:56 +08:00
https://aws.amazon.com/cli/ 用官方的 cli 就行了
|
10
mangoDB 2018-10-23 09:33:53 +08:00
官网应该有对应的 s3fs 吧,我猜测的。
|
11
imnpc 2018-10-23 09:35:51 +08:00
@Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写
|
13
Vieufoux 2018-10-23 09:38:47 +08:00
用 aws s3 cp 命令
https://docs.aws.amazon.com/cli/latest/reference/s3/ |
14
kslr 2018-10-23 09:50:40 +08:00 via Android
Rclone
|
15
kslr 2018-10-23 09:51:48 +08:00 via Android
我每天都要同步几百 g 的数据
|
16
ayang23 2018-10-23 09:51:56 +08:00
|
17
orzjerry 2018-10-23 09:58:20 +08:00
s3fs 可以 mount 到本地当作本地磁盘,rsync 也是可以的但是磁盘性能真的是不好。
|
18
lynnX 2018-10-23 10:02:14 +08:00
|
19
xw 2018-10-23 10:11:48 +08:00
s3cmd
|
20
Les1ie 2018-10-23 10:21:43 +08:00 1
让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)
|
22
iConnect 2018-10-23 10:37:51 +08:00
比较好奇 v 站怎么一攻击就死的硬硬的,没有一点复活能力(除了等站长起床)
|
24
kios 2018-10-23 10:42:44 +08:00
Mountain Duck
|
25
sunnyadamm 2018-10-23 11:09:12 +08:00
@Les1ie 周天 504,不是昨天
|
26
zhaogaz 2018-10-23 11:17:15 +08:00
群晖就有这功能。 我觉得挺好的
|
27
ReVanTis 2018-10-23 11:32:32 +08:00
注意一点,s3 并不是文件系统而是面向对象的存储。
试图从文件系统直接进行同步可能不能保留所有的文件信息,包括权限、修改日期等。 |
28
likuku 2018-10-23 14:20:14 +08:00
记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3
|
29
likuku 2018-10-23 14:24:56 +08:00
#28 找到了:
"管理对象 高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同,使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。" from: 通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html |
30
PureWhiteWu 2018-10-23 14:29:12 +08:00
我是用的 cloudmounter,感觉还不错
|
31
pythonee 2018-10-23 14:35:28 +08:00
我也有同样的诉求
|
32
laxenade 2018-10-23 16:37:09 +08:00 via Android
题外话,建议站长顺便把多版本打开(
|
33
kennylam777 2018-10-23 17:54:25 +08:00
rclone +1, 因為有多線程
|
34
phithon 2018-10-23 18:04:05 +08:00
一直用的 https://github.com/s3tools/s3cmd
直接可以把整个目录传上去 |
35
cxbig 2018-10-23 18:46:03 +08:00
做備份用 aws s3 sync 配合 S3 版本控制就不錯
再簡單一點用 aws s3 cp --recursive 速度快些 不適合大批量小文件,效率不高。服務器在 AWS 之外的也會影響傳輸效率 |