这是一个创建于 1420 天前的主题，其中的信息可能已经有所发展或是发生改变。
请教一下，目前有没有那种开源的或者付费的分布式爬虫系统？可以进行深度爬取整个网站的那种？
优先考虑开源的，自己撸了一个，效率不大行。。。
 |
1
czfy 2020-12-25 17:08:33 +08:00
深度爬取整个网站，这是想干嘛
付费的肯定有，八爪鱼之类的 不过你这想要深度爬取，可行性不是问题，风险才是问题 |
 |
4
manzhiyong 2020-12-25 17:12:15 +08:00
抓起来的都是获得过授权的
|
 |
5
RudyS 2020-12-25 17:12:16 +08:00
我们自己开发
|
 |
6
lieyan OP @manzhiyong 这个。。。。不过我们业务特殊，没这个风险
|
 |
9
Lemeng 2020-12-25 23:56:47 +08:00
爬整个站啊，好吧
|
 |
10
sjmcefc2 2020-12-26 08:31:02 +08:00
teleport
|
Select Language