在 GitHub 上发现了个宝藏项目，超牛的爬虫工具箱

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2063 days ago, the information mentioned may be changed or developed.

https://infospider.vercel.app

研究了一下，不错的爬虫项目，but 爬虫玩得好，牢饭吃到饱，不知道开发者在哪里吃饭

项目非常丰富的，里面包括了 GitHub 、QQ 邮箱、网易邮箱、京东、淘宝、支付宝、移动联通电信、知乎、B 站、网易云音乐、QQ 群以及各大技术论坛与社区的爬虫。

最棒的是所有的爬虫脚本相互独立，可以无缝移植到自己的项目中。

爬虫

GitHub

牢饭

6 replies • 2020-09-13 18:12:44 +08:00

Whalko

Sep 11, 2020

/t/702369

fengchang

Sep 11, 2020

项目很好啊，但是最缺的是人人网

learningman

Sep 12, 2020

用 webdriver 的，不方便啊

daum

Sep 12, 2020

怎么感觉在 SEO

wewewe

Sep 13, 2020

配合这个使用效果更好哦
https://www.v2ex.com/t/706327

hellolex

Sep 13, 2020

能拿到微博的就好了