jhdrfes
V2EX  ›  问与答

自己国庆没啥事,写了一个爬虫,利用接口抓取数据,可是响应很慢,有啥解决办法?

  •  
  •   jhdrfes · Oct 7, 2020 · 2240 views
    This topic created in 2224 days ago, the information mentioned may be changed or developed.

    利用 github 客户端抓取数据,可是响应很慢,有啥解决办法呢?用啥代理或者服务器吗?

    4 replies  •  2020-10-08 10:38:23 +08:00
    finely
    finely
    Oct 7, 2020
    1
    牢里个个都是人才,讲话又好听,楼主不妨跟他们取取经
    locoz
    locoz
    Oct 7, 2020 via Android
    2
    响应慢先尝试挂梯子或者放境外服务器看看能不能提速,还不能的话就是服务器本身的响应慢,在这种情况下你是没有办法提升单个请求的效率的。
    cccp2020
    cccp2020
    Oct 7, 2020
    3
    大部分响应慢是自身网速和对方服务器导致的,小部分是你爬虫被盯上了或者并发请求严重了,弄的对方服务器响应都卡了

    小心坐牢
    oneoyn
    oneoyn
    Oct 8, 2020 via Android
    4
    买台阿里 腾讯的轻量服务器 就可以了 在服务器上爬
    https://www.aliyun.com/activity?userCode=gr9dyqjt
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2491 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 04:34 · PVG 12:34 · LAX 20:34 · JFK 23:34
    ♥ Do have faith in what you're doing.