问题 1
- \u200b \u200c ... 这类零宽字符去除
- ascii 前面那堆去除
— –类似这种长得很像减号换成减号- 保留可见的 unicode 字符,包括中文、阿拉伯语、日文、西班牙语等字符。
类似这样的字符清洗的轮子有嘛? 手动写筛选条件怕有遗漏。
问题 2
另外在 python3 里,有些字符串
"\u2086san'中文"
类似这样的,其中中文也是 unicode,但是是可见的。
用 unicode-escape 的话,中文也会变成\u 开头。
有没有方法,在\u2086这种表现形式的字符出现的时候,判断一下?