求推荐一个能支持 Python 3 的非阻塞异步爬虫框架 ~

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4303 days ago, the information mentioned may be changed or developed.

scrapy 貌似不支持唉。Github 上写明了 python 2.7
已经被 Python 2.7 中 unicode 各种烦了。求推荐一个异步爬虫框架吧，不然要用 Gevent 自己写，但是 Gevent 貌似也不支持 Py3K ？

异步

爬虫

gevent

17 replies • 2014-07-31 11:39:08 +08:00

yueyoum

Jul 30, 2014

gevent 目前貌似不支持 py3k
但 Py3k 自带了 asyncio

youyudehexie

Jul 30, 2014

scrapy Twisted 基于事件驱动，可以粗暴地认为是非阻塞。。至少非同步

Feiox

Jul 30, 2014

@yueyoum 听说了没用过，但 asyncio 不是异步 IO 的吗，网络请求也可以用它异步么？

Feiox

Jul 30, 2014

@youyudehexie 但它不支持 Python 3 啊 ~ ಥ_ಥ

clino

Jul 30, 2014 via Android

为什么一定要3

imn1

Jul 30, 2014

用 greenlet 自己写

Feiox

Jul 30, 2014

@clino 因为处理中文很舒服 ~ 并且有好多好功能 ~ 为什么大家都不支持呢

wwqgtxx

Jul 30, 2014 via Android

为何一定用python呢
有很多对中文兼容性很好的语言呀

binux

Jul 30, 2014

搞清楚之后不觉得 python2 的 unicode 烦。。

Comdex

Jul 30, 2014

用golang啦

liteneo

Jul 30, 2014

爬虫用Node.js就很方便，大把的模块

skybr

Jul 30, 2014

我记得gevent的开发版支持py3, 只是退出时会报个警告, 一系列支持py3相关的补丁是位国人开发者贡献进去.

love

Jul 30, 2014

都py3了还用什么gevent啊，该用高大上的asyncio

Kabie

Jul 30, 2014

tornado怎么样?

fdsfsdfsdf3334

Jul 31, 2014

requests 可以吗

mengzhuo

Jul 31, 2014

@love

测试了一下 asyncio 性能渣渣....并发2000都顶不住

heqing

Jul 31, 2014

用Scrapy, 安装一个Python 2.7即可。