对于大文本文件的压缩，bz2/lzma这些怎么用？太慢了

This topic created in 4666 days ago, the information mentioned may be changed or developed.

一个15G的dump log文件，压缩了半个小时后，我一看压缩文件才69m。。。立即kill换gzip压缩了。。。

大的文本文件压缩，有什么好办法没？

压缩

文本文件

压缩文件

7 replies • 1970-01-01 08:00:00 +08:00

phuslu

Aug 26, 2013 via iPhone

snappy

felix021

Aug 26, 2013

试试lz4或者lzo，超快。

p.s. lzo是os x mavericks用来压缩内存的（减少对swap的需要）。

andybest

Aug 26, 2013

@felix021 @phuslu 非常感谢，我对比了一下：

lz4 - Extremely Fast Compression algorithm
snappy - A fast compressor/decompressor
LZO real-time data compression library

Name Ratio C.speed D.speed
MB/s MB/s
LZ4 (r101) 2.084 422 1820
LZO 2.06 2.106 414 600
QuickLZ 1.5.1b6 2.237 373 420
Snappy 1.1.0 2.091 323 1070
LZF 2.077 270 570
zlib 1.2.8 -1 2.730 65 280
LZ4 HC (r101) 2.720 25 2080
zlib 1.2.8 -6 3.099 21 300

lz4无论是在压缩比和读写速率上都完爆 snappy 与 lzo，这是不是说明lz4是最好的选择了？

felix021

Aug 26, 2013

@andybest 貌似lz4的压缩比是更小吧（我也不是非常确定）

timonwong

Aug 26, 2013

@andybest
lz4 主要靠牺牲内存换取高速，如果需要一个占用CPU、内存资源都不大的压缩算法，用lzo，否则可以考虑用lz4

batfree

Aug 26, 2013

楼主不应该Kill啊，输出结果是69M不等于压缩的慢，这种LOG全是重复信息,15G全压缩甚至了不过几十M。我这儿经常会出现几M的压缩包解压缩之后好几个G的。

clino

Aug 26, 2013

为什么不试试 7zip ?
要快的话可以调一下参数不要压缩得那么厉害.
7z 用来压大文件应该算是久经考验的了