V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gdtv
V2EX  ›  Amazon Web Services

这里有用 amazon S3 的朋友吗? 上传 25g 的文件到 S3 老是出错

  •  
  •   gdtv · 2016-06-06 19:31:43 +08:00 · 4489 次点击
    这是一个创建于 3081 天前的主题,其中的信息可能已经有所发展或是发生改变。
    从阿里云 VPS 上传到 S3 ,单个压缩包 25g ,试了几次都出错:

    aws s3 cp backup-file.tar.gz s3://myname/backup/aliyun/
    upload failed: ./backup-file.tar.gz to s3://myname/backup/aliyun/backup-file.tar.gz
    hostname 'myname.s3.amazonaws.com' doesn't match either of '*.com.com', 'com.com'
    Completed 763 of 3240 part(s) with -1 file(s) remaining

    是不是文件太大了? 不知是阿里云的限制,还是 S3 的限制,还是“你懂的”限制
    19 条回复    2016-06-07 22:33:36 +08:00
    paulw54jrn
        1
    paulw54jrn  
       2016-06-06 19:34:54 +08:00   ❤️ 1
    notgod
        2
    notgod  
       2016-06-06 19:38:08 +08:00   ❤️ 1
    你这种上传方式明显有问题 文件太大
    以中国到美国的网络连通性.. 根本不用考虑的
    楼上分卷可以

    不过还是建议打包为 1G 每个的压缩文件得了
    这么大 传输起来很容易出错 网络原因
    fredcc
        3
    fredcc  
       2016-06-06 19:45:55 +08:00 via Android
    显然某 wall 问题
    jhaohai
        4
    jhaohai  
       2016-06-06 20:01:06 +08:00 via iPhone
    楼主用的中国区的 aws 吗,中国区的是 amazonaws.cn
    BFDZ
        5
    BFDZ  
       2016-06-06 20:03:17 +08:00 via Android
    3 楼+1 , s3 有些地方会解析成神奇的阿塞拜疆
    gdtv
        6
    gdtv  
    OP
       2016-06-06 21:05:44 +08:00
    @paulw54jrn
    我是使用命令行上传的,官方文档说 cp 命令会自动执行分段上传
    gdtv
        7
    gdtv  
    OP
       2016-06-06 21:06:08 +08:00
    @jhaohai 我用的不是中国区
    vacker
        8
    vacker  
       2016-06-06 22:07:35 +08:00 via iPhone
    别说 25G ,我几百兆的文件从中国区到 S3 都是老出错,想其它办法吧
    gdtv
        9
    gdtv  
    OP
       2016-06-06 22:16:57 +08:00
    @jhaohai 中国区的 aws 好像不对外开放
    paulw54jrn
        10
    paulw54jrn  
       2016-06-06 22:21:01 +08:00
    要不手动分页一直 s3 sync 重试?
    gdtv
        11
    gdtv  
    OP
       2016-06-06 23:15:17 +08:00
    @paulw54jrn 试了一下用 sync ,结果:
    'Connection aborted.', error(104, 'Connection reset by peer')
    jhaohai
        12
    jhaohai  
       2016-06-06 23:26:13 +08:00 via iPhone
    @gdtv 嗯,得收到邀请才能用
    paulw54jrn
        13
    paulw54jrn  
       2016-06-07 07:03:29 +08:00
    迷のGFW
    esile
        14
    esile  
       2016-06-07 07:21:58 +08:00 via iPhone
    去国外开个 vps 拖过去在上传
    fcicq
        15
    fcicq  
       2016-06-07 07:26:05 +08:00
    试试非官方的 s3cmd?
    leafin
        16
    leafin  
       2016-06-07 09:05:48 +08:00   ❤️ 1
    @gdtv python 版 aws cli 在处理某些特殊的文件时会有 BUG 。在我的测试中,用固定的两堆图片,一堆总是上传成功,另一堆总是上传失败。你试试用 java sdk 传
    leafin
        17
    leafin  
       2016-06-07 09:08:49 +08:00
    不过报错跟你的不一样,我测试中报错是第 0 行语法错误
    leafin
        18
    leafin  
       2016-06-07 09:11:12 +08:00
    你的这个错误不排除是网络原因引起的
    aec4d
        19
    aec4d  
       2016-06-07 22:33:36 +08:00   ❤️ 1
    25G 这个量级有点尴尬啊 我觉得想办法先传到国外主机在上传 S3 就好办了
    我刚测试了一下国外下载 upyun 速度有 3M/s
    你可以这样子 找一台国外主机测试下连接到 upyun/oss/七牛等的速度
    先临时将阿里云 VPS 宽带提升到 100MB 将文件上传到以上平台,或者直接对 VPS 使用 aria2c -x15 -s15 -c 开 15 个线程断点续传下载 主要是看哪个快
    如果你长期有这样的需求可以写一个脚本 比如每 100MB 分为一个文件上传到 upyun 等 就可以阿里云上传同时国外 VPS 下载了
    正常传到国外 VPS 上一切就好办了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1043 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:51 · PVG 03:51 · LAX 11:51 · JFK 14:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.