推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
新手求教， python 使用 multiprocessing 进行多进程爬取网站，如何实现登录 session 的共享
killvoon · 2016-09-22 15:14:05 +08:00 · 2574 次点击这是一个创建于 2967 天前的主题，其中的信息可能已经有所发展或是发生改变。
网站需要登录，单个进程爬取的话没有问题，但多进程爬取的时候，就会出现没有登录的情况
 |
1
264768502 2016-09-22 18:38:37 +08:00 via Android
io 密集请用异步或者多线程
为什么用多进程? |
 |
2
superalsrk 2016-09-22 21:03:56 +08:00
请换成 subprocess
|
|
3
superalsrk 2016-09-22 21:05:25 +08:00
额。。说错。。。
|
 |
4
TaMud 2016-09-22 21:14:45 +08:00
CURL + COOKIE FILE
|
 |
5
iyaozhen 2016-09-22 21:17:04 +08:00 via Android
Python 的这个多进程没有多线程好用
|
 |
6
xingzhi 2016-09-23 02:02:26 +08:00
不管是多进程还是多线程，确保只登录一次，共享同一个 Cookies 就好了。
|
 |
7
reself 2016-09-23 14:23:29 +08:00 via Android
cookie file ，或者 key-value 数据库例如 Redis 什么的
|
Select Language