最近接了一个老外的项目，需要模拟浏览器行为

This topic created in 2746 days ago, the information mentioned may be changed or developed.

例如用多个地区的 ip 地址，模拟自然人访问某个网站，注册账号。需要绕过反爬虫和机器人识别。

有没有库推荐？

反爬虫

模拟

自然人

老外

15 replies • 2018-11-29 16:08:18 +08:00

Kilerd

Nov 28, 2018

https://github.com/kennethreitz/requests-html
试试这个？不行就用 headless 来实现咯

EvilCult

Nov 28, 2018

菜鸟表示能想到的最简单的就是
python + Selenium
使用 chrome driver
设置--proxy-server http 代理

kljsandjb

Nov 28, 2018 via iPhone

chrome headless ？

jydeng

Nov 28, 2018

puppeteer

zr8657

Nov 28, 2018

selenium，最近发现代理 ip 真是贵

onedayoneapple

Nov 28, 2018

@zr8657 有好的 ip 推荐吗

q4336431

Nov 28, 2018

selenium+phantomjs，只不过 ip 这个不好处理，代理是真滴贵

zr8657

Nov 28, 2018

@onedayoneapple 我自己买的最便宜的 60 一个月 1000 条，但是速度很慢，1M 带宽都不到，我也想找更便宜的。。有大肘子科普下为什么这么贵吗

andylsr

Nov 28, 2018 via Android

adsl 服务器

KingFong

PRO

Nov 28, 2018

我觉得主要资源是 IP，以前买过美国的 private proxy，一个月 5 美元，速度非常快。

akira

Nov 28, 2018

这个不是某一个库可以做到的事情吧

hadoop

Nov 28, 2018

@yanjieee 关键词？

Daveedo

Nov 28, 2018

ip 代理去买就行了。几块钱买 500 个

takato

Nov 28, 2018

如果对方对抗措施充分，完成这个就至少需要良好的数学和统计学功底。。。

可能一般的库或方法是不行哦。。

举个子问题的例子：如何用 code 控制鼠标光标的移动轨迹，使其符合人类使用物理鼠标移动光标的特征。

clap3times

Nov 29, 2018

有个爬虫私活，有人感兴趣吗