Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
ufo22940268
V2EX  ›  Linux

爬虫运行的时候终端卡

  •  
  •   ufo22940268 ·
    ufo22940268 · Jan 5, 2016 · 3859 views
    This topic created in 3795 days ago, the information mentioned may be changed or developed.

    服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
    然后通过more /proc/sys/fs/file-nr看,文件的打开数也才 1900

    同样的程序在我的 mac 上跑就没有这些现象。

    Supplement 1  ·  Jan 5, 2016
    大家说的没错,是带宽问题。

    带宽满了,然后就丢包了,然后就会卡。
    6 replies    2016-01-05 15:53:29 +08:00
    wlsnx
        1
    wlsnx  
       Jan 5, 2016   ❤️ 1
    可能是网络原因
    flyshu
        2
    flyshu  
       Jan 5, 2016   ❤️ 1
    网络带宽占满了?
    Landarky
        3
    Landarky  
       Jan 5, 2016   ❤️ 1
    估计和我一样 网络带宽限制
    limbo0
        4
    limbo0  
       Jan 5, 2016   ❤️ 1
    如果是 ssh 到服务器应当会卡的
    em70
        5
    em70  
       Jan 5, 2016 via iPhone   ❤️ 1
    用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以
    youxiachai
        6
    youxiachai  
       Jan 5, 2016   ❤️ 1
    这个终端卡,不都是网络问题吗。。。我还以为都是常识来的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3168 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 12:51 · PVG 20:51 · LAX 05:51 · JFK 08:51
    ♥ Do have faith in what you're doing.