Home Sign Up Sign In
anewg
V2EX  ›  问与答

请问有哪位用过阿里云 OSS 的迁移工具 OssImport 的吗？

  •   
  •   anewg · Aug 11, 2017 · 3489 views
    This topic created in 3377 days ago, the information mentioned may be changed or developed.
    https://help.aliyun.com/document_detail/56990.html?spm=5176.7851630.6.1043.omWSjK

    看了下他的文档，加上搜索了一阵发现以下问题还是没有了解到：

    1.他是如何知道数据源有哪些文件的？（比如迁移七牛的只需要 bucket 名字就行了）
    2.工具是下载到本地再上传到 OSS 的吗？（如果需要本地做中转，可能就使用别的方案了）
    3.速率有多快？上 TB 的文件量大概需要多久？

    有实际使用经验的朋友指导下吗？
  • OSS
  • 迁移
  • ossimport
  • bucket
    4 replies  •  2017-08-13 06:18:07 +08:00
    anewg
    anewg
    OP
    Aug 11, 2017
    1
    没有吗？
    toureg
    toureg
    Aug 12, 2017
    2
    1. ossimport 的 master 会根据指定条件，比如前缀，最后修改时间，去数据源 list 一下，进行一次全量扫描，获取需要迁移的文件列表。
    toureg
    toureg
    Aug 12, 2017❤️1
    3
    2. ossimport 从数据源拉取数据，直接上传到 oss，数据不落盘。
    3. ossimport 迁移速度，主要跟迁移机器的网络情况有关。如果单机的网络不能有效的满足需求，ossimport 支持分布式部署，通过线性增加迁移机器，速度可以线型扩展，能满足海量数据迁移的需求。
    anewg
    anewg
    OP
    Aug 13, 2017
    4
    @toureg 感谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4256 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 09:32 · PVG 17:32 · LAX 01:32 · JFK 04:32
    ♥ Do have faith in what you're doing.