推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2689 天前的主题，其中的信息可能已经有所发展或是发生改变。
用过两者的朋友吗？ 说说具体咋样
要做选型
 |
1
ldbC5uTBj11yaeh5 2017-06-29 19:15:33 +08:00 via Android
现在还有用 pysipder 的吗？
|
 |
2
wolffn 2017-06-29 19:18:47 +08:00
lz 爬虫规模大吗，不大的话，说真心话，上 node 吧
|
 |
4
EricCartman 2017-06-29 20:04:09 +08:00 via Android
@wolffn 不大 Python 更方便吧
|
 |
5
golmic 2017-06-29 20:15:04 +08:00
感觉 pyspider 在任务调度方面比 scrapy 做的好一些，但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
|
 |
7
xrlin 2017-06-29 20:36:34 +08:00
两者都用过，但只是做自己的小项目，都是很好的框架，但比较喜欢 scrapy，目录结构好，做图片等资源采集不错，pyspider 编辑起来不太方便，但任务调度比 scrapy 方便很多，可以很方便进行定时、增量爬取。
|
 |
8
binux 2017-06-29 20:45:47 +08:00  3
谢邀 :P
pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说，和 scrapy 比还是有差距的。 https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider https://www.quora.com/How-does-pyspider-compare-to-scrapy |
 |
9
bfbd 2017-06-29 22:33:28 +08:00 1
|
Select Language