V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
zwzmzd
V2EX  ›  云计算

阿里云会限制对外连接数吗

  •  
  •   zwzmzd · 2015-02-28 13:47:40 +08:00 · 5494 次点击
    这是一个创建于 3538 天前的主题,其中的信息可能已经有所发展或是发生改变。
    在阿里云服务器上跑一个爬虫,开始的时候能够有6000左右的连接数,过了一会连接数就只剩下60左右了,而且重启服务器再开启爬虫连接数也只有60左右

    同样的程序在AWS上就没这个问题
    11 条回复    2015-03-03 21:09:38 +08:00
    akira
        1
    akira  
       2015-02-28 14:22:27 +08:00
    云盾关了看看
    Yamade
        2
    Yamade  
       2015-02-28 14:51:06 +08:00
    换azure看下?
    mornlight
        3
    mornlight  
       2015-02-28 15:06:27 +08:00
    找客服啊
    ultimate010
        4
    ultimate010  
       2015-03-01 18:45:31 +08:00 via Android
    文件描述符够吗?
    zwzmzd
        5
    zwzmzd  
    OP
       2015-03-01 19:43:35 +08:00 via Android
    @ultimate010 这个已经改过了,而且连接一开始是建立了的,但是很快被大量关闭。
    ultimate010
        6
    ultimate010  
       2015-03-02 00:16:54 +08:00
    @zwzmzd 抓取链接复用很重要,不要每次都开启关闭socket,可以用python的requests来管理这个.很方便,性能也很高.
    jedihy
        7
    jedihy  
       2015-03-02 01:31:45 +08:00
    先找到被快速关闭的原因,tcpdump看看,是不是被rst了
    nilai
        8
    nilai  
       2015-03-02 16:09:21 +08:00
    连接池很重要。
    bingx86
        9
    bingx86  
       2015-03-02 17:00:14 +08:00

    阿里云工单提一个
    zwzmzd
        10
    zwzmzd  
    OP
       2015-03-02 17:19:52 +08:00 via Android
    @bingx86 工单提了,那边说没触发防护系统,让我找程序自己的问题

    @nilai
    @ultimate010 这个是imap的邮件爬虫,不是爬特定的服务器

    由于程序不是我写的,排查也比较麻烦,正在和作者一起找问题
    ultimate010
        11
    ultimate010  
       2015-03-03 21:09:38 +08:00
    @zwzmzd 可以本机测试一下,如果本机没问题,阿里上有问题,那么可以确认是阿里的问题.
    以前用过腾讯云爬大量数据,每天抓几百万页面,用好连接复用一点问题都没有,cpu跑完,带宽跑不满.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3015 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 00:03 · PVG 08:03 · LAX 16:03 · JFK 19:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.