新手求教， python 使用 multiprocessing 进行多进程爬取网站，如何实现登录 session 的共享

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3548 days ago, the information mentioned may be changed or developed.

网站需要登录，单个进程爬取的话没有问题，但多进程爬取的时候，就会出现没有登录的情况

进程

Python

求教

7 replies • 2016-09-23 14:23:29 +08:00

264768502

Sep 22, 2016 via Android

io 密集请用异步或者多线程
为什么用多进程?

superalsrk

Sep 22, 2016

请换成 subprocess

superalsrk

Sep 22, 2016

额。。说错。。。

TaMud

Sep 22, 2016

CURL + COOKIE FILE

iyaozhen

Sep 22, 2016 via Android

Python 的这个多进程没有多线程好用

xingzhi

Sep 23, 2016

不管是多进程还是多线程，确保只登录一次，共享同一个 Cookies 就好了。

reself

Sep 23, 2016 via Android

cookie file ，或者 key-value 数据库例如 Redis 什么的