用 python 也写过类似的爬虫,开了多线程,运行速度和 js 写的有点差距 这是地址,欢迎大家试用! https://github.com/Card007/Proxy-Pool
1
twotiger 2019-03-23 17:58:52 +08:00
提个建议,把 node_modules 忽略了
|
3
orangeade 2019-03-23 18:12:00 +08:00
Android 主流方式都是 gevent 或者 asyncio,不见得会慢
|
4
orangeade 2019-03-23 18:12:20 +08:00
android -> python 打错
|
5
delectate 2019-03-23 18:18:49 +08:00
一般都是协程,实在不行多进程协程,跑满很轻松。就这点而言,不觉得 py 慢。
|
6
facat 2019-03-23 18:25:51 +08:00 via Android
爬虫的制约因素一般是网络 I/O,除非你在骨干网上跑爬虫,否则家里的宽带应该和 python 没区别。
|
8
qianqlgz 2019-03-23 19:12:35 +08:00
怎么你们都会加链接,我不会,试了几次没成功
|
12
tikazyq 2019-03-24 12:05:52 +08:00 via iPhone
已 star,最好有可以验证代理 IP 是否可用的逻辑
|