有人了解百度或者谷歌的爬虫吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3898 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近学爬虫，打算用 python unbuntu postgresql

问题1：他们的爬虫，是不是会针对一些大网站，专门定制开发蜘蛛规则？

问题2：爬虫的分布式任务调度算法是不是很复杂？查资料了，还是没理解透彻 [是不是先，生成要采集的url，然后把url分部给worker]

问题3：你有什么爬虫的知识分享给新手吗

目前尚无回复

爬虫 url 是不是