爬取天猫评论,连第一个都没爬完就封了 想问延长休息时间有用吗? 代理池没有试过不知道有没有效果
1
lhx2008 2019-03-04 15:09:57 +08:00 via Android
先把浏览器特征做好吧,可以爬几页,然后是代理池,哪有这么容易。
|
2
www5070504 2019-03-04 15:51:58 +08:00
代理池都不上的。。。
|
3
shapl 2019-03-04 15:54:52 +08:00
用浏览器插件的形式,让用户浏览器去爬。。
当你的插件用户足够多,就行了。。 |
6
lusi1990 2019-03-05 09:00:49 +08:00 via Android
阿里反爬做的很好了,没个两个天搞不完,代理肯定要上,多个用户。httpbin.org 看看自己的请求和浏览器 差多少
|
7
Johnson66 2019-03-05 14:16:17 +08:00
评论是需要登陆 有 cookie 才能拿到的
|
8
Johnson66 2019-03-05 14:17:32 +08:00
延长时间有用~~
|
10
cruithne 2019-03-07 09:53:13 +08:00
带着 cookie 进行请求吧,阿里系的都不好爬
|