Python Scrapy 的安装

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3899 days ago, the information mentioned may be changed or developed.

怎么安装 Scrapy 要安装那么多依赖啊？而且动不动就安装报错，为什么不能直接 pip install Scrapy 一键搞定呢？各位有没有什么好的解决办法？

Scrapy

安装

报错

pip

26 replies • 2016-04-25 22:08:47 +08:00

Tink

Mar 9, 2016 via iPhone

不能 pip install ？

allencode

Mar 9, 2016

@Tink 在 pip install 之前要安装四五个依赖吧，而且有几个很难安装。不过最后搞定了，直接去 github 上下载 scrapy 的源码解压， cd 进去，然后 python setup.py build,python setup.py install.搞定啦

4641585

Mar 9, 2016

为什么不能用 pip install ？

项目网站首页最上面就是 pip install scrapy

4641585

Mar 9, 2016

刚刚试了一下也没有出任何问题。。

allencode

Mar 9, 2016

@4641585 请问你只用匹配 install scrapy 就可以成功安装 scrapy 了吗？不用安装其他依赖？像 lxml ， pywin32 ？

9hills

Mar 9, 2016

@allencode lz 是 windows ？

要么折腾，要么换系统吧

4641585

Mar 9, 2016

@allencode
好吧我用的不是 windows 。。

CocoTaka

Mar 9, 2016 via iPad

用 easy_install

xmwd

Mar 9, 2016

我用的 ubuntu15.10 ，使用 pip ，也得手动装 libffi 、 libxslt 和 libxml

wenyu1001

Mar 9, 2016

弄个虚拟环境： virtualenv （ virtualenvwrapper ）

省的被其他环境（依赖）干扰。

ctrainr

Mar 9, 2016

主要是 lxml 难装

simapple

Mar 9, 2016

就是需要这么多依赖，只要不是 windows ，直接 pip 安装，缺少什么 lib 就安装什么

其实 windows 下安装也没有那么难

whatot

Mar 9, 2016

Installing collected packages: zope.interface, Twisted, six, w3lib, queuelib, lxml, idna, pyasn1, pycparser, cffi, cryptography, pyOpenSSL, cssselect, pyasn1-modules, attrs, service-identity, scrapy
Successfully installed Twisted-15.5.0 attrs-15.2.0 cffi-1.5.2 cryptography-1.2.3 cssselect-0.9.1 idna-2.0 lxml-3.5.0 pyOpenSSL-0.15.1 pyasn1-0.1.9 pyasn1-modules-0.0.8 pycparser-2.14 queuelib-1.4.2 scrapy-1.0.5 service-identity-16.0.0 six-1.10.0 w3lib-1.13.0 zope.interface-4.1.3

不到 2 分钟装完了。依赖会自动解决吧

jswh

Mar 9, 2016

之前也是，在 vps 上 pip install 安装总是报错。最后发现是 vps 内存太小，编译各种 python-lxml 的时候内存爆了。用 apt-get 装了预编译包就好了。 23333

Tink

Mar 9, 2016 via iPhone

为什么要用 windows 啊醉了

yinzishao

Mar 9, 2016

我用的是 ubuntu14.04 pip install 直接安装就可以了。并没有遇到什么问题。或者你贴出具体的问题代码，给大家解决一下？

allencode

Mar 9, 2016 via Android

@9hills 已经搞定了，谢谢你

allencode

Mar 9, 2016 via Android

@CocoTaka 搞定了，谢谢

allencode

Mar 9, 2016 via Android

@xmwd 搞定了，哈哈

allencode

Mar 9, 2016 via Android

@ctrainr 是的哦，不过后来搞定了

allencode

Mar 9, 2016 via Android

@yinzishao 我已经搞定了，只是安装过程感叹一下，哈哈

allencode

Mar 9, 2016 via Android

@Tink 实验室台式机准备装优班图，笔记本装了许多软件，不敢轻易折腾

allencode

Mar 9, 2016 via Android

@whatot 这个好， 2333

allencode

Mar 9, 2016 via Android

@simapple 是的

patrickstar

Mar 9, 2016

我现在用 anaconda ，完全满足我用了，不过由于没有用到 scrapy 所以还没关注里面有没有这个，实在不想去折腾， pypi 上有些包没有直接 pip 安装的！

moogle

Apr 25, 2016

我这里有两个环境：
python2 C:\Anaconda3\envs\python2
root * C:\Anaconda3
是不是我先 activate python2 后，然后再 pip install scrapy ？