V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4456 days ago, the information mentioned may be changed or developed.
 |
1
zhwei Feb 21, 2014
pycurl是封装的curl, 效率要高点，但是requests更加人性化，更易用，如果用于爬虫的话推荐requests，毕竟效率可以通过多线程或者异步提高。
|
 |
2
piglei Feb 21, 2014
如楼上所说，“效率”这个东西到了网络库上来说，最大的问题是IO，所以库本身的执行效率来说并不是那么重要。和效率有关的指标还是IO相关的，比如这个库是不是支持keep-alive，是不是支持异步化等等等等。
|
 |
3
cute Feb 21, 2014  2
|
 |
4
wangfengmadking Feb 21, 2014
还有就是requests原生不支持socket5代理。。。
|
 |
5
pubby Feb 21, 2014
一直用gearman
再用node写一个worker,支持socks5代理 爬虫直接将抓取任务交给gearman,异步执行 |
Select Language