爬虫把自己爬死了。。。。点解？

我弄了一个爬虫程序，没有把服务器爬死，倒是把自己网络经常弄挂，

大概就是用 gevent 创建一个 Pool(50) , 50 个并发，

用 Requests 来迭代（有打 m onkey patch ）

url 大概是接近 10000 个，

速度其实还挺快的，一秒能处理接近 300 个 requests ， for 迭代，没有 sleep

但是现在的问题是，每次连续处理 3000 个左右还好，再多了，经常就把本地网络弄挂了，导致程序也 timeout 退出。
一两分钟内，经常网络也连不上。不知道是不是我程序写的太耗系统资源，可能要稍微在一段任务后休息一下。

现在的解决办法就是，把任务分成小块，每块大概 2000 个，每爬了 2000 个就休息几秒。

有没有更科学的方法，或者是我哪里使用不当？

第 1 条附言 · 2017-03-06 12:43:59 +08:00

看到楼下都说路由器的问题，我猜应该也是路由器的问题。

同样的代码在阿里云服务器上跑，毫无压力。

我自己的路由器按说已经是家用里很好的了， Netgear 的 3000 多，

换别的路由连接方式也不大可行，因为还有很多其他电脑，加上物理距离，不大可行。

那目前看，好像也只能自己控制减慢并发请求的速度了。

第 2 条附言 · 2017-03-07 00:48:27 +08:00

最后发现，路由器表示不背锅，是我的程序写的有问题

在 gevent 调用的函数里面，我直接用的 Requests.get 来下载页面，这个方式下不能复用连接，也没有主动去调用关闭，所以程序保持了几千个服务器之间的连接，最后把路由器玩死了。

现在修改成用 session 来 get ，一切完美了，速度也快了好多。

nCount = 50
connection_limit = nCount
adapter = requests.adapters.HTTPAdapter(pool_connections=connection_limit,
pool_maxsize=connection_limit)
session = requests.session()
session.mount('http://', adapter)

fetchpool = Pool(nCount)
for job in jobs:
fetchpool.spawn(self.foobar, session, job)
fetchpool.join()

def foobar(self, session, job):
session.get(......)

Requests

太耗

程序

大概

23 条回复 • 2017-03-07 17:09:20 +08:00

markmx

2017-03-06 12:15:30 +08:00

换个好路由器.

IanPeverell

2017-03-06 12:22:54 +08:00

感觉是：请求太多了，一次发不出那么多请求，全排路由缓存里了，然后把缓存挤爆了后面的都排不进去了就超时了，然后处理这些请求花了一两分钟，换个加宽带宽，然后异步请求更好一点

onetrlee

2017-03-06 12:24:49 +08:00

1L+1
如果有在用路由,先尝试不用路由,再跑一下.如果有用光猫把光猫改成桥接,直连电脑然后电脑拨号跑一下试试.

我前段时间也是写爬虫,就是这个问题,最开始,1 秒撑死直接处理不到 1000 个请求,上行带宽只用了不到 10M.后来去掉路由有提升但是还是没跑满,又把光猫改成桥接电脑直接拨号,问题就解决了.

所以,如果你确定代码没问题的话,检查一下自己网络会经过的设备,挨个排查吧.