V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
weakish
V2EX  ›  云计算

现在有网盘支持基于rolling checksum/hash 的progressive deduplication么?

  •  
  •   weakish · 2013-09-06 17:29:57 +08:00 · 3113 次点击
    这是一个创建于 4096 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有网盘支持这个功能么?

    这个功能特别适合备份 VM 文件。我昨天备份过了的话,今天再备份,相同的部分都是秒传了。甚至,很多 VM 都差不多的,所以甚至第一次上传都可能是秒传 (因为有别的用户上传过了)。

    目前我是用bup备份VM到网盘的同步目录,但是:

    - 如果网盘直接支持的话,我就可以直接传VM,不用先运行bup了,虽然bup确实很快
    - bup不支持删除旧备份,如果以后占用空间过多,我得全部删除,从头备份、从头上传
    4 条回复    1970-01-01 08:00:00 +08:00
    mindcat
        1
    mindcat  
       2013-09-06 23:02:36 +08:00
    这是神马? 0w0 好高级! 糊里糊涂的喵!
    kennedy32
        2
    kennedy32  
       2013-09-07 00:20:19 +08:00
    不明觉厉
    VYSE
        3
    VYSE  
       2013-09-07 00:26:59 +08:00
    DROPBOX都不支持,而且现在网盘单个文件尺寸限制太大
    weakish
        4
    weakish  
    OP
       2013-09-07 18:40:33 +08:00
    @mindcat @kennedy32 簡單說就是基於block而不是file做deduplication:將文件切成很多很小的小塊,然後對每個小塊計算hash,檢測是否已經存過了,並且通過一定手段保證文件內容部分改變之後,未改變的部分會被切成和上次一樣的小塊。具體可以 google 相關的關鍵詞。

    西數的arkeia網站上的介紹:http://www.arkeia.com/en/products/data-deduplication/progressive-deduplication
    bup的設計文檔:https://github.com/bup/bup/blob/master/DESIGN
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1312 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 17:47 · PVG 01:47 · LAX 09:47 · JFK 12:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.