这是一个创建于 2544 天前的主题，其中的信息可能已经有所发展或是发生改变。
想实现自带策略的抓取框架，现在努力中，你有兴趣加入这个工程吗？ 求轻虐，我小白！
https://github.com/intohole/xspider
我想各种解耦爬虫框架，奈何我小白！求各位大神照顾，多关注下，给我点动力 ，谢谢
主要是，为了各种节省资源（文件队列／ bloomfilter 过滤／文件存储），抓取网站使用！
 |
1
lhx2008 2017-12-07 18:00:40 +08:00 via Android
感觉是不是有点为了解耦而解耦的感觉，扩展性也不太好
|
 |
3
cheesea 2017-12-07 18:07:08 +08:00
我比较想知道你怎么做限流的？
|
Select Language