推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 944 天前的主题，其中的信息可能已经有所发展或是发生改变。
首先声明，不讨论数据爬取的道德&法律问题，只是一个技术上的尝试。
尝试了一下 python 的多进程或者异步 2 中写法发起网络请求，都没问题。
不过，异步的本质还是一个线程在执行，效率虽然已经很高，但是仍然没有发挥多核优势。对于大量的数据，能否多进程+异步完成？
尝试了下，始终没能成功，网上多进程+同步，或者单进程+异步倒是挺多的，但是多进程+异步相关资料比较少，有大神实践过吗。感谢
用到的异步请求库 httpx
 |
1
youngce 2022-04-16 11:13:40 +08:00
一台机器上多个进程，多个机器上多个进程，后者就是所谓的分布式爬虫了，本质还是消息队列转一下
scrapy 里面有 scrapy redis golang 里面有 colly |
 |
2
ch2 2022-04-16 11:16:21 +08:00
一个线程同时发几百个上千个异步请求就可以把千兆网卡跑满，IO 密集型瓶颈在网速上，而不是你用的是进程线程还是协程。如果你的任务瓶颈在处理返回的数据上，应该用消息队列这种机制，由一个线程单独发请求，再开多个进程消费它产生的数据
|
 |
3
htoooth 2022-04-16 11:18:23 +08:00
任务队列+线程池。或者直接线程池
|
 |
4
lscho 2022-04-16 11:33:42 +08:00
不懂 python ，但是你写一个进程管理器，把网络请求的代码放到 fork 出来的子进程中执行，不就是多进程+异步了吗？
nodejs 很多框架都是这种模式，我感觉 python 应该也有类似的库吧 |
 |
5
LeeReamond 2022-04-16 15:12:15 +08:00
“效率虽然已经很高，但是仍然没有发挥多核优势”，建议重新理解 IO 密集任务的含义。IO 密集场景指的是最终性能表现受限于你的基础设施（软件基础设施，硬件基础设施），你的信息收发模块按照它的设定逻辑，总共只能处理那么多的任务，你 CPU 跑的再快，塞再多任务它也处理不了，有什么用呢？
你可以看到一些 TCP 通信框架跑分，用 C 语言写的框架每秒可以做到几十万次并发，但是 C 语言每秒可以修改 1 亿次三级缓存状态，所以为什么 CPU 跑的比单机通信跑分可以高好几个数量级，单机通信跑分最高还是只有几十万？ |
 |
6
opengo 2022-05-01 08:41:08 +08:00
|
Select Language