1
paulw54jrn 2016-06-06 19:34:54 +08:00 1
Multipart upload:
https://aws.amazon.com/blogs/aws/amazon-s3-multipart-upload/ |
2
notgod 2016-06-06 19:38:08 +08:00 1
你这种上传方式明显有问题 文件太大
以中国到美国的网络连通性.. 根本不用考虑的 楼上分卷可以 不过还是建议打包为 1G 每个的压缩文件得了 这么大 传输起来很容易出错 网络原因 |
3
fredcc 2016-06-06 19:45:55 +08:00 via Android
显然某 wall 问题
|
4
jhaohai 2016-06-06 20:01:06 +08:00 via iPhone
楼主用的中国区的 aws 吗,中国区的是 amazonaws.cn 吧
|
5
BFDZ 2016-06-06 20:03:17 +08:00 via Android
3 楼+1 , s3 有些地方会解析成神奇的阿塞拜疆
|
6
gdtv OP @paulw54jrn
我是使用命令行上传的,官方文档说 cp 命令会自动执行分段上传 |
8
vacker 2016-06-06 22:07:35 +08:00 via iPhone
别说 25G ,我几百兆的文件从中国区到 S3 都是老出错,想其它办法吧
|
10
paulw54jrn 2016-06-06 22:21:01 +08:00
要不手动分页一直 s3 sync 重试?
|
11
gdtv OP @paulw54jrn 试了一下用 sync ,结果:
'Connection aborted.', error(104, 'Connection reset by peer') |
13
paulw54jrn 2016-06-07 07:03:29 +08:00
迷のGFW
|
14
esile 2016-06-07 07:21:58 +08:00 via iPhone
去国外开个 vps 拖过去在上传
|
15
fcicq 2016-06-07 07:26:05 +08:00
试试非官方的 s3cmd?
|
16
leafin 2016-06-07 09:05:48 +08:00 1
@gdtv python 版 aws cli 在处理某些特殊的文件时会有 BUG 。在我的测试中,用固定的两堆图片,一堆总是上传成功,另一堆总是上传失败。你试试用 java sdk 传
|
17
leafin 2016-06-07 09:08:49 +08:00
不过报错跟你的不一样,我测试中报错是第 0 行语法错误
|
18
leafin 2016-06-07 09:11:12 +08:00
你的这个错误不排除是网络原因引起的
|
19
aec4d 2016-06-07 22:33:36 +08:00 1
25G 这个量级有点尴尬啊 我觉得想办法先传到国外主机在上传 S3 就好办了
我刚测试了一下国外下载 upyun 速度有 3M/s 你可以这样子 找一台国外主机测试下连接到 upyun/oss/七牛等的速度 先临时将阿里云 VPS 宽带提升到 100MB 将文件上传到以上平台,或者直接对 VPS 使用 aria2c -x15 -s15 -c 开 15 个线程断点续传下载 主要是看哪个快 如果你长期有这样的需求可以写一个脚本 比如每 100MB 分为一个文件上传到 upyun 等 就可以阿里云上传同时国外 VPS 下载了 正常传到国外 VPS 上一切就好办了 |