1
akira 2015-02-28 14:22:27 +08:00
云盾关了看看
|
2
Yamade 2015-02-28 14:51:06 +08:00
换azure看下?
|
3
mornlight 2015-02-28 15:06:27 +08:00
找客服啊
|
4
ultimate010 2015-03-01 18:45:31 +08:00 via Android
文件描述符够吗?
|
5
zwzmzd OP @ultimate010 这个已经改过了,而且连接一开始是建立了的,但是很快被大量关闭。
|
6
ultimate010 2015-03-02 00:16:54 +08:00
@zwzmzd 抓取链接复用很重要,不要每次都开启关闭socket,可以用python的requests来管理这个.很方便,性能也很高.
|
7
jedihy 2015-03-02 01:31:45 +08:00
先找到被快速关闭的原因,tcpdump看看,是不是被rst了
|
8
nilai 2015-03-02 16:09:21 +08:00
连接池很重要。
|
9
bingx86 2015-03-02 17:00:14 +08:00
。
阿里云工单提一个 |
10
zwzmzd OP @bingx86 工单提了,那边说没触发防护系统,让我找程序自己的问题
@nilai @ultimate010 这个是imap的邮件爬虫,不是爬特定的服务器 由于程序不是我写的,排查也比较麻烦,正在和作者一起找问题 |
11
ultimate010 2015-03-03 21:09:38 +08:00
@zwzmzd 可以本机测试一下,如果本机没问题,阿里上有问题,那么可以确认是阿里的问题.
以前用过腾讯云爬大量数据,每天抓几百万页面,用好连接复用一点问题都没有,cpu跑完,带宽跑不满. |