打算抓取 http://bbs.ngacn.cc/thread.php?fid=-7&page=1 里面的帖子，找出热点帖子。 python 写了脚本，但运行时总是出错。
代码如下：
https://gist.github.com/anonymous/99ef5fb95bd8e4c72f1d
抓取分两步，第一次直接抓的页面里面有 js 在 url 上附加一个 rand 参数之后再次加载，但第二次抓取总是报错：
This topic created in 3874 days ago, the information mentioned may be changed or developed.
 |
1
ksupertu Oct 14, 2015 via iPad
Phantomjs
|
 |
2
liiihhhh Oct 14, 2015
|
 |
3
heloman OP @liiihhhh 多谢！ 看到 lite=xml 可以直接获得 xml ，但是查看 fid=-7 的页面总是要有一次再次加载的过程，手动构造了加 rand 的 url 但还是 get 数据出错，这个怎么破？
比如 http://bbs.ngacn.cc/thread.php?fid=7&lite=xml&page=1&rand=996 这个可以直接访问 但是 http://bbs.ngacn.cc/thread.php?fid=-7&lite=xml&page=1&rand=996 这个 url 已经附加了 rand 参数，但还是报错 |
|
5
liiihhhh Oct 15, 2015
@heloman 加 rand=996 这个参数是干嘛的？ http://bbs.ngacn.cc/thread.php?fid=7&lite=xml&page=1&rand=996 可以获得数据啊
|
Select Language