做爬虫时碰到了问题,求老司机
1
alexapollo OP 这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
|
2
xavierskip 2016-01-11 00:13:44 +08:00
?
|
3
halfcrazy 2016-01-11 00:15:28 +08:00
单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
|
4
alexapollo OP @halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
|
5
alexapollo OP @xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
|
6
bdbai 2016-01-11 00:23:30 +08:00 via iPhone
直接研究请求好了,会比分析页面更快一些。
|
7
FrankFang128 2016-01-11 01:22:01 +08:00 via Android
关系页面干啥
|
8
FrankFang128 2016-01-11 01:22:11 +08:00 via Android
关心页面干啥
|
9
zhenzhen37 2016-01-11 17:13:46 +08:00
f12
|