糗百命令行版：最近学习正则表达式，抛弃了bs4，写了这么一个小爬虫，爬了糗百最近7天热门的糗事儿

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4619 days ago, the information mentioned may be changed or developed.

请多多指教：http://jiabin.tk/2013/09/08/qiubai-regex/

多多指教

bs4

小爬虫

26 replies • 1970-01-01 08:00:00 +08:00

vibbow

Sep 9, 2013

我觉得直接抓包android版的API更具有可行性......

byron

Sep 9, 2013 via iPhone

@vibbow 这点儿还没睡？
我目前就会做个简单的爬虫，像抓包什么的api什么的安卓什么？的，实在是心有余而力不足啊。

Gawie

Sep 9, 2013

同样学习python爬虫中~~~

missdeer

Sep 9, 2013

整天只用ssh登录控制台使用机器的表示感谢！

Ansen

Sep 9, 2013

python新新手学习了，

roricon

Sep 9, 2013

用scrapy呗。很好的爬虫框架，简单易用。
说实话，用re直接处理html实在是太痛苦了。
用scrapy可用它内建的XPathSelector。
不想用框架的话可以用beautifulsoup。

byron

Sep 9, 2013

@roricon
嗯，谢谢
scrapy没了解过，待我了解了解。
之前用过bs4，但是它的原理也是转换成正则
效率会差很多
直接正则+编译会快很多

yanwen

Sep 9, 2013

py 3 可以用？？

byron

Sep 9, 2013

@yanwen 我是用py 2X写的。
如果要在py 3上使用估计要改动不少地方
比如：
print
raw_input 想关联的地方等等

itfanr

Sep 10, 2013

@vibbow 安卓版怎么抓？

vibbow

Sep 10, 2013

@itfanr 模拟器 + WireShark

chunchu

Sep 10, 2013

为什么我看到的是乱码？

byron

Sep 10, 2013

@chunchu
你是在win下看的吧？
win下建议用python自带的IDLE，把编码改成#coding:cp936
cmd是会乱码的。

zhttty

Sep 10, 2013

写的不错，可以用...不过有些内容会被截断，就是一句完整的话有部分不见了...

不过建议作者可以将图片链接也抓出来，保存成形如 [http://xxx.jpg] 形式，这样可以复制链接在浏览器上看。

csx163

Sep 10, 2013

我记得他的RSS有当日热门的

byron

Sep 10, 2013

@zhttty
可以把截断的糗事儿反馈给我么？
这里或者gist都可以。

zhttty

Sep 10, 2013

@byron

截断的那几句话找不到了，好像跟一些表情符号有关。

spark

Sep 11, 2013 via iPhone

楼主可以尝试Pyquery

vicence

Sep 11, 2013

@byron 有vim版的qiushibaike.vim

pandada8

Sep 11, 2013 via Android

@byron
bs4基于正则嗯 are you sure？bs4是基于dom的吧
如果觉得慢的话可以使用lxml + bs4的组合
soup = BeautifulSoup(html,“lxml”)
#如果我没记错的话

fengyuanjs

Sep 11, 2013

在oschina也看到楼主发了

byron

Sep 11, 2013

@fengyuanjs
刚学编程，发出来要大伙儿帮我多瞅瞅代码。
在oschina那里被抓到不少bug，O(∩_∩)O哈哈~

byron

Sep 11, 2013

@pandada8 我记得我是看的一篇博客的，具体原理我还真不懂。

pacino

Sep 17, 2013

@byron windows下改了编码仍然显示为乱码

guangwong

Sep 18, 2013

pyquery、phantomjs、pyv8這些厙多好 = =。

Crossin

Sep 18, 2013 via Android

这不是byron嘛，来顶你一下