V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
pc10201
V2EX  ›  Python

python 的 requests 库使用异步并处理失败问题?

  •  
  •   pc10201 · 2014-02-22 16:03:56 +08:00 · 10360 次点击
    这是一个创建于 3928 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我找了一下requests本身没有异步功能
    有一个库grequests,但网上就一个范例
    我自己用gevent来写,不过通过 HttpAnalyzer抓包发现请求还是按顺序执行的
    requests官网推荐了一个
    https://github.com/ross/requests-futures
    里面有回调函数
    但现在有一个问题,比如说有50个关键词,要通过异步查排名,但百度推广实况查排名有频率限制,会有很多失败的,这些失败的我如何再去查一次直至全部查完?
    2 条回复    1970-01-01 08:00:00 +08:00
    tonyseek
        1
    tonyseek  
       2014-02-22 16:30:53 +08:00
    你需要把会发起请求的过程封装成一个函数,然后用 gevent.spawn 调用。这个和多线程是类似的,只在一个 Greenlet 里面当然还是顺序执行的。
    mindcat
        2
    mindcat  
       2014-02-22 20:09:39 +08:00
    用grequests就是了喵~ 不知道怎么用就看测试范例喵
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4870 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 01:17 · PVG 09:17 · LAX 17:17 · JFK 20:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.