V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3274 days ago, the information mentioned may be changed or developed.
 |
1
guonning May 10, 2017 via iPhone
整个 Google play 的爬虫
|
 |
2
Morriaty May 10, 2017  1
如果你的项目有明显优于`scrapy`的地方，那请重点介绍这个优点；
如果你只是想深入了解爬虫架构，那请配合分享你的开发博客，《深入理解爬虫架构》； 否则，你的这个项目，除了自己练手，没有任何可分享的意义。 |
 |
3
yanzixuan May 10, 2017
不是很推荐用 xpath 来提取信息，麻烦得很。用 beautifulsoup 或 pyquery 都好点。
|
 |
4
xvx May 10, 2017 via iPhone
难道 lz 这个还能智能爬不成？不用每个网站都搞个爬虫规则。
|
 |
11
IanPeverell May 10, 2017
楼主加油，不过……
感觉是在重复造轮子，因为功能不完善所以很轻，很多情况都没考虑到 scrapy 和 pyspider 已经很出色，再加上很多分支，已经很完美了，requests 也足够满足轻型 spider 的需求，所以除非以学习为目的，这种重复造轮子很浪费时间 |
 |
12
intohole OP @IanPeverell 肯定有些不同的，比如我现在抓取的时候 面临资源不足的情况，有自己的解决方案 ；
|
 |
13
mikezhang0515 May 10, 2017
MSpider 也很好
|
|
14
IanPeverell May 10, 2017
@intohole，然而资源不足只是 spider 很小的问题，更多的问题则在于反爬上，如果楼主能在这方面下功夫那这个框架的肯定不可小觑
anyway，还是很支持楼主将一个框架由小做大的，希望楼主能坚持下去 |
|
15
intohole OP @mikezhang0515 我会参考这个工程的 ，thx
|
|
16
intohole OP @IanPeverell 谢谢，我会加油的
|
 |
17
faywong8888 May 10, 2017
技术这个行业，过去一个话题的开始是写一个：hello, world。
这个行业的现在变成了：从零写一个爬虫。 |
|
18
intohole OP @faywong8888 什么项目不是从 0 开始的呢？ 还有你觉得写爬虫架构很好写，写个队列，写个抓取器就完活了？ 谢谢关注
|
 |
19
bytenoob May 10, 2017 via Android
加上一句，make the world a better place
|
Select Language