V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jhdrfes
V2EX  ›  问与答

自己国庆没啥事,写了一个爬虫,利用接口抓取数据,可是响应很慢,有啥解决办法?

  •  
  •   jhdrfes · 2020-10-07 20:20:26 +08:00 · 1320 次点击
    这是一个创建于 1510 天前的主题,其中的信息可能已经有所发展或是发生改变。

    利用 github 客户端抓取数据,可是响应很慢,有啥解决办法呢?用啥代理或者服务器吗?

    4 条回复    2020-10-08 10:38:23 +08:00
    finely
        1
    finely  
       2020-10-07 20:30:12 +08:00
    牢里个个都是人才,讲话又好听,楼主不妨跟他们取取经
    locoz
        2
    locoz  
       2020-10-07 21:01:39 +08:00 via Android
    响应慢先尝试挂梯子或者放境外服务器看看能不能提速,还不能的话就是服务器本身的响应慢,在这种情况下你是没有办法提升单个请求的效率的。
    cccp2020
        3
    cccp2020  
       2020-10-07 21:21:12 +08:00
    大部分响应慢是自身网速和对方服务器导致的,小部分是你爬虫被盯上了或者并发请求严重了,弄的对方服务器响应都卡了

    小心坐牢
    oneoyn
        4
    oneoyn  
       2020-10-08 10:38:23 +08:00 via Android
    买台阿里 腾讯的轻量服务器 就可以了 在服务器上爬
    https://www.aliyun.com/activity?userCode=gr9dyqjt
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3034 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:36 · PVG 22:36 · LAX 06:36 · JFK 09:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.