Python 抓取网页 html 乱码

This topic created in 4059 days ago, the information mentioned may be changed or developed.

通过Chrome查看页面源代码，我有看到charset=utf-8，页面应是utf-8编码的。
系统是Windows8.1
通过python的urllib2的urlopen下载html，拿到本地的是乱码。
而Chrome另存为到本地则可以成功读取(另存为时格式也是utf-8)
已经尝试了encode+decode，gbk, gb2312似乎都不起效。

网页地址：
http://wiki.52poke.com/wiki/%E5%A6%99%E8%9B%99%E7%A7%8D%E5%AD%90

还请各位高手点拨一二。

Supplement 1 · Apr 25, 2015

今天用一样的代码突然跑通了

utf

HTML

Python

3 replies • 2015-04-25 16:04:39 +08:00

fangjinmin

Apr 24, 2015

import urllib
import codecs
url = 'http://wiki.52poke.com/wiki/%E5%A6%99%E8%9B%99%E7%A7%8D%E5%AD%90'
response = urllib.urlopen(url)
charset = response.headers.getparam('charset')
html = response.read()

if charset != '':
try:
codecs.lookup(charset)
html = html.decode(charset, 'replace')
except:
pass

Exin

Apr 24, 2015

@fangjinmin
感谢！但我还是无法将该html的unicode正确编码并写入到文件。

Exin

Apr 25, 2015

已解决，部分页面内容是gzip的，而其他是普通的html
通过chardet检测编码模式
或者urllib2的request
可以解决问题