This topic created in 3804 days ago, the information mentioned may be changed or developed.
最近在用 python 抓取知乎的问题日志, 大概就是用 requests 库得到内容后再用 xpath 提取链接, 请求内容的时候用了代理. 刚才报错, 一看提取的链接里居然有广告...求问这是什么状况?
 |
1
est Dec 4, 2015
requests 默认自动 302 301 跳转。被运营商劫持之类第九回跳转到广告什么的。
|
 |
2
binux Dec 4, 2015
1. 有的代理,特别是免费代理,会往页面里插东西,或者整个返回的就是广告
2. xpath 写得太泛, 当获得不是真正的知乎页面的时候, 也会匹配到别的东西. |
 |
3
leiz Dec 4, 2015
过滤一下不就完了
|
Select Language