百度是怎样检测异常流量的？比如爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 4274 天前的主题，其中的信息可能已经有所发展或是发生改变。

今天用服务器爬百度，只有几分钟，就被百度给屏蔽了...... 求大牛指导

7 条回复 • 1970-01-01 08:00:00 +08:00

wtser

2013-03-11 12:34:17 +08:00

爬虫也有名字的，在useragent中有显示，通过检测UA就可以知道你是爬虫，当然也可以检测你的行为特征

scriptkids

2013-03-11 13:01:53 +08:00

频率..

workaholic

2013-03-11 19:45:40 +08:00

@scriptkids 恩，少量多次^_^

workaholic

2013-03-11 19:46:48 +08:00

@wtser 恩，useragent好解决，行为得谨慎一些

yangruixuan

2013-03-12 18:37:40 +08:00

频度控制

tysx

2013-03-13 13:12:08 +08:00

同一个IP的并发连接数

workaholic

2013-03-13 15:03:48 +08:00

@tysx 我用的php，应该是单线程的。不过我发现流量低谷（比如凌晨）的时候比较松，其他时间就得少量多次了