This topic created in 4176 days ago, the information mentioned may be changed or developed.
举个栗子，googleplay在加载时只加载一部分，剩下的要把滚动条脱到低端才会显示出来，现在要写程序来获取全部加载完的字符串，HtmlUnit和phantomjs都用了下，感觉不是很简单，可能对这两者还是研究的不够透彻，请问各位有什么基于这两种或者是其他更好的方法吗？
 |
1
williamwu Nov 25, 2014
如何抓取很多链接的网页全文呢？
比如汽车之家百科此链接http://car.autohome.com.cn/shuyu/index.html#pvareaid=103435左侧，每个链接对应一篇文章，我如何抓取每一个链接对应文章的正文部分呢？ |
 |
2
crab Nov 25, 2014
googleplay 可以直接post请求（指定开始页，多少页数。）
|
 |
3
icedx Nov 25, 2014
你俩是干啥
|
 |
4
badbye OP @williamwu 这个很简单，你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊，文章标题都会有相同的class吧，通过class可以获取url
|
 |
6
abelyao Nov 25, 2014
直接用正则表达式匹配 response 中你要的内容。
我的站就是滚动无限加载的图片站，莫非楼主要抓我的… |
 |
7
learnshare Nov 25, 2014
直接抓 API 地址
|
 |
8
halfcrazy Nov 25, 2014
分析js找接口
|
 |
9
cdxem713 Nov 25, 2014 via iPhone
直接对api发请求就好了，这类异步网站都可以
|
Select Language