V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 4015 days ago, the information mentioned may be changed or developed.
https://sourceware.org/bugzilla/show_bug.cgi?id=6050
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
 |
1
julyclyde May 7, 2015
因为解码算法需要回溯吧？
|
 |
3
est OP 想了下，不对啊。为啥python的就可以pipe。。。
|
 |
4
jarlyyn May 14, 2015
iconv最奇葩的是
nodejs 用pure js实现的iconv-lite库号称比调用iconv的库快 |
Select Language