最近想用 Puppeteer 爬取 这个网站 的数据,发现爬取几个数据之后就很快被识别为机器人,弹出 recaptcha 的验证,已设置 UA 和 Cookie,模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的?
1
gzlock Apr 19, 2018
瓶颈在 ip,上代理池
|
2
miyuki Apr 19, 2018
可能是 IP 频率?
|
3
soli Apr 20, 2018
道高一尺,魔高一丈。
复杂一点的,可以分析用户鼠标、键盘等动作。 |
4
yamedie Apr 20, 2018 via Android
操作频率太快了,设置点间隔
|
5
Sparetire Apr 20, 2018
|