比如说 a 是从 1 到 100 的 list 我希望有 50 个进程同时开始读数据，即读取的数据为 1,3,5,7 ，。。。 99 这种格式。 v 站有什么想法可以实现么？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3593 days ago, the information mentioned may be changed or developed.
 |
1
sylecn Sep 11, 2016 via Android
常见的 process pool 都可以做到。把 pool size 设置成 50 就行。比如标准库里面的 multiprocessing, concurrent.futures, 第三方的 celery.
要注意这些 pmap 类似的方法都会自动提交下一个任务到目前空闲的 worker process ，所以不能完全保证提交的顺序。通常需要处理一个 list 的场合也不需要保证顺序。 |
 |
2
thekoc Sep 11, 2016
|
 |
3
Allianzcortex Sep 11, 2016
@sylecn 说的非常好了，我就补充一点：如果不是必须多线程而只是要加快读取速度，可以考虑 gevent ,它有 imap_unordered 和 imap 两种，分别适用于不需要顺序和需要顺序的情况
|
 |
4
anasplrt34 Sep 11, 2016 via Android
@sylecn 我用的是 celery 但现在出现了个问题 celery 进程执行玩后 是 50 个 1 到 100 的 list 而不是 50 个类似于 1 51 这种的 请问哪儿出错了呢？
|
|
5
sylecn Sep 11, 2016
@anasplrt34 估计是提交任务的代码有问题。如果用 celery 的 delay 方法，传参数的时候，不要传 list ，要传具体的 object ，比如你这里是传 int 。
|
 |
6
wizardforcel Sep 11, 2016 via Android
1. python 的 threading.queue 是带锁的。
2. 如果 list 是固定的，给线程分配序号就行了。 |
 |
7
ryd994 Sep 11, 2016 via Android
读 list 怕什么？又没有写
|
 |
8
micookie Sep 11, 2016
莫非是想做爬虫~
|
 |
9
kkzxak47 Sep 11, 2016 via Android
你们都能看懂问题？
|
 |
10
wyntergreg Sep 12, 2016
我弱弱的问一句，是用 python 做多线程？
|
Select Language