在解码中文文本时智能地忽略无法解码的字节?

This topic created in 4401 days ago, the information mentioned may be changed or developed.

我想把一些中文文本(大体是gb2312/gbk/gb18030)转换到UTF8编码
这些文本中可能混入了一些错误的字节

我试过一种"贪婪的"解码方式: 在碰到(无法作为gb2312/gbk/gb18030解码的字节序列)时抛弃第一个未解码字节, 并重试解码.
这样确实能完成整个文件的解码.
但是有时会得到一串汉字乱码, 推测是碰到"无意义的汉字序列但是是合法的汉字编码"

我怎样可以更智能地忽略错误字节, 并尽量解码成有意义的中文文本?

# 感觉这是个轮子级问题. 如果有现成的技术或实现就最好

解码

字节

文本

2 replies • 2014-06-26 12:03:15 +08:00

kfll

Jun 25, 2014

iconv -c 么

-c When this option is given, characters that cannot be converted are silently discarded, instead of leading to a conversion error.

jokester

Jun 26, 2014

@kfll 对啊解码成乱码的就这种