V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4459 days ago, the information mentioned may be changed or developed.
前段时间把自己写的爬虫程序整理了一下，希望能构建一个简单易用的爬虫框架。现在已经有了基本框架. 采用的是requests + beautifulsoup。
现在的代码量还比较少，都是一些基本功能。就是把request和bf封装了一下。
https://github.com/numb3r3/crawler-python
现在的代码量还比较少，都是一些基本功能。就是把request和bf封装了一下。
https://github.com/numb3r3/crawler-python
 |
1
gaicitadie Feb 21, 2014  1
beautifulsoup跟pyquery有哪些区别？相对于pyquery有何优势？请有经验的大神讲讲
|
 |
2
wangfengmadking OP @gaicitadie 根据我的经验，pyquey基于lxml，比bf解析效率要高。本来我想直接用lxml的，但是由于比较赶，只能先用bf解析了。如果对jquery比较熟悉的话，那么可以直接可以使用pyquey来解析html
|
 |
3
pythoncc Feb 21, 2014
收藏、学习。。。
|
 |
4
wuyadong Feb 21, 2014
|
 |
5
zhwei Feb 21, 2014
上周pycoder weekly推荐的一个项目 https://github.com/jmcarp/robobrowser
也是封装了requests和 beautifulsoup, 可以试着添加写独到的功能。 |
 |
6
FrankFang128 Feb 21, 2014 via Android
爬虫很有用吗？为什么这么多人写
|
|
7
zhwei Feb 21, 2014
@FrankFang128 简化查询、聚合信息、懒人必备。
|
 |
8
jason52 Feb 21, 2014
@gaicitadie 你要回jquery的话，强烈推荐pyquery，class选择器方便程度是bs不能比的。我误打误撞学了一下jquery，结果最有用的竟然是在爬虫的时候用上了pyquery
|
 |
9
qianlifeng Feb 21, 2014
bs4不是也可以使用jquery选择器语法查询的么
|
 |
10
alexapollo Feb 21, 2014
Scrapy?
|
 |
12
RIcter Feb 21, 2014
@FrankFang128 我不会说过刚刚学py的时候，我写过爬h网关键词的..因为我是妹控哈哈哈！
|
 |
13
mongodb Feb 21, 2014
感觉python天生是为了写爬虫和代理而创造的语言= =
|
|
14
FrankFang128 Feb 21, 2014
@RIcter 听你这么一说，就感觉有用了
|
 |
15
pandada8 Feb 21, 2014 via Android
@wangfengmadking beautifulsoup也可以指定使用lxml，只要在初始化的时候指定类型为lxml的就行了 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser
@qianlifeng 文档里有写？ ———— pyquery没办法链式调用……残念…… |
 |
16
paulw54jrn Feb 22, 2014
@pandada8 补充下..beautifulsoup要4.0+版才能支持lxml
|
 |
17
fork3rt Feb 22, 2014
pyquery没beautifulsoup 强大 - -# 我最近也在写爬虫
|
|
18
pandada8 Feb 23, 2014
@paulw54jrn 嘛，新代码基本都用的bs4吧……
|
|
19
qianlifeng Feb 23, 2014
|
 |
20
blond Feb 24, 2014
@wangfengmadking那pyquery和lxml哪个快呢
|
|
21
wangfengmadking OP @blond lxml要比pyquery快很多
|
Select Language