有什么高效的转移很多小文件的方式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 4579 天前的主题，其中的信息可能已经有所发展或是发生改变。

有很多小文件（百万级）需要转移，用U盘拷太慢了，于是压缩成zip后进行转移。压缩的时候倒是挺快的（不到1小时），但是解压缩的需要很长很长时间（10天左右）。
请问有什么高效的转移方式，谢谢。

10 条回复 • 1970-01-01 08:00:00 +08:00

finler

2012-05-12 15:26:40 +08:00

linux系统下可以tar命令分类型打包，每包10k个以下，速度不慢，对内存要求高，win下容易资源耗尽

skydiver

2012-05-12 15:34:33 +08:00

处理小文件的速度跟文件系统类型有很大关系的

skydiver

2012-05-12 15:35:20 +08:00

Windows的ntfs系统本身对于小文件的处理就很慢。。。

Yo_oY

2012-05-12 15:36:50 +08:00

@skydiver 恩，就是windows的ntfs系统。

bulldozer

2012-05-12 15:39:17 +08:00

打包但不压缩呢？

shao

2012-05-12 15:41:22 +08:00

不知道用ftp方式转移，是否够快？

zxp

2012-05-12 15:46:43 +08:00

下面两个方法效率应该都不错，前提是网速要给力。

1. rsync -avz user@host:/src /dst
2. tar cf - dir | ssh user@host tar xf - -c /dest-dir

qiuai

2012-05-12 16:09:19 +08:00

推荐用tar打包.

9hills

2012-05-12 16:14:27 +08:00

TAR打包没有压缩会快很多。。

嘛其实最快的是磁盘对拷，直接用dd命令，就没有小文件和大文件的区别了，直接整个分区过去。。

9hills

2012-05-12 16:15:53 +08:00

P.S. dd命令生成img，然后又把img还原到分区。