V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
yakczh
V2EX  ›  Python

pycurl 相比 requests 是不是效率要高一些?

  •  
  •   yakczh · 2014-02-21 14:04:16 +08:00 · 4242 次点击
    这是一个创建于 3930 天前的主题,其中的信息可能已经有所发展或是发生改变。
    6 条回复    1970-01-01 08:00:00 +08:00
    zhwei
        1
    zhwei  
       2014-02-21 16:37:39 +08:00
    pycurl是封装的curl, 效率要高点,但是requests更加人性化,更易用,如果用于爬虫的话推荐requests,毕竟效率可以通过多线程或者异步提高。
    piglei
        2
    piglei  
       2014-02-21 17:14:54 +08:00
    如楼上所说,“效率”这个东西到了网络库上来说,最大的问题是IO,所以库本身的执行效率来说并不是那么重要。和效率有关的指标还是IO相关的,比如这个库是不是支持keep-alive,是不是支持异步化等等等等。
    cute
        3
    cute  
       2014-02-21 17:16:57 +08:00   ❤️ 2
    搜索human_curl

    import human_curl
    r = human_curl.get('http://v2ex.com')

    requests不支持100 continue.
    wangfengmadking
        4
    wangfengmadking  
       2014-02-21 17:37:10 +08:00
    还有就是requests原生不支持socket5代理。。。
    pubby
        5
    pubby  
       2014-02-21 18:20:26 +08:00
    一直用gearman

    再用node写一个worker,支持socks5代理

    爬虫直接将抓取任务交给gearman,异步执行
    zhwei
        6
    zhwei  
       2014-02-21 19:26:18 +08:00
    @cute api和requests一样啊,好东西!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3042 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:51 · PVG 22:51 · LAX 06:51 · JFK 09:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.