Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
ufo22940268
V2EX  ›  Linux

爬虫运行的时候终端卡

  •  
  •   ufo22940268 ·
    ufo22940268 · Jan 5, 2016 · 4245 views
    This topic created in 3963 days ago, the information mentioned may be changed or developed.

    服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
    然后通过more /proc/sys/fs/file-nr看,文件的打开数也才 1900

    同样的程序在我的 mac 上跑就没有这些现象。

    Supplement 1  ·  Jan 5, 2016
    大家说的没错,是带宽问题。

    带宽满了,然后就丢包了,然后就会卡。
    6 replies  •  2016-01-05 15:53:29 +08:00
    wlsnx
    wlsnx
    Jan 5, 2016❤️1
    1
    可能是网络原因
    flyshu
    flyshu
    Jan 5, 2016❤️1
    2
    网络带宽占满了?
    Landarky
    Landarky
    Jan 5, 2016❤️1
    3
    估计和我一样 网络带宽限制
    limbo0
    limbo0
    Jan 5, 2016❤️1
    4
    如果是 ssh 到服务器应当会卡的
    em70
    em70
    Jan 5, 2016 via iPhone❤️1
    5
    用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以
    youxiachai
    youxiachai
    Jan 5, 2016❤️1
    6
    这个终端卡,不都是网络问题吗。。。我还以为都是常识来的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1096 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 17:47 · PVG 01:47 · LAX 09:47 · JFK 12:47
    ♥ Do have faith in what you're doing.