今天用服务器爬百度，只有几分钟，就被百度给屏蔽了...... 求大牛指导
This topic created in 4834 days ago, the information mentioned may be changed or developed.
 |
1
wtser Mar 11, 2013
爬虫也有名字的，在useragent中有显示，通过检测UA就可以知道你是爬虫，当然也可以检测你的行为特征
|
 |
2
scriptkids Mar 11, 2013
频率..
|
 |
3
workaholic OP @scriptkids 恩，少量多次^_^
|
|
4
workaholic OP @wtser 恩，useragent好解决，行为得谨慎一些
|
 |
5
yangruixuan Mar 12, 2013
频度控制
|
 |
6
tysx Mar 13, 2013
同一个IP的并发连接数
|
|
7
workaholic OP @tysx 我用的php，应该是单线程的。不过我发现流量低谷（比如凌晨）的时候比较松，其他时间就得少量多次了
|
Select Language