V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
brucedone
V2EX  ›  Python

[awesome-crawler]爬虫资源大汇总

  •  1
     
  •   brucedone · 2016-10-10 19:38:50 +08:00 · 4257 次点击
    这是一个创建于 2957 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前已经算是爬虫资源百花齐放的时候,不过关于各个语言的汇总就没有相应的汇总表,花了一点时间将自己用到的和各大群里推荐的框架或者库 收集,然后做了一个 awesome 系列,欢迎喜欢 spider 或者对这个有兴趣的朋友 fork or start 或者提 pr ,issue ~

    awesome-crawler Awesome

    8 条回复    2016-10-11 09:59:02 +08:00
    sinoandywong
        1
    sinoandywong  
       2016-10-10 19:57:50 +08:00
    知乎有人汇总 Python 爬虫了
    Python 爬虫框架资源集合: https://zhuanlan.zhihu.com/p/22304295?refer=zimei
    微博爬虫开源项目汇总大全: https://zhuanlan.zhihu.com/p/22339045?refer=zimei
    Python 金融股票爬虫实战源码大全: https://zhuanlan.zhihu.com/p/22424416?refer=zimei
    brucedone
        2
    brucedone  
    OP
       2016-10-10 20:06:24 +08:00
    @sinoandywong 感谢分享,基于 python 的有很多,我想更汇总不同语言的框架和资源
    slysly759
        3
    slysly759  
       2016-10-10 20:49:03 +08:00 via Android
    嘿嘿(º﹃º )看到大神啦⊙▽⊙
    scnace
        4
    scnace  
       2016-10-10 22:29:40 +08:00 via Android
    go 有 go-spider 和 幽灵蛛 楼主可以加进去 。 幽灵蛛应该是比较重量级的爬虫了 啥都有。
    hanzichi
        5
    hanzichi  
       2016-10-11 08:53:31 +08:00
    以前写的一些初级 Node 爬虫代码 https://github.com/hanzichi/funny-node (逃
    brucedone
        6
    brucedone  
    OP
       2016-10-11 09:57:53 +08:00
    @slysly759 - - 大神不要捧我的臭脚了,我就是一个资源收集与分享~
    brucedone
        7
    brucedone  
    OP
       2016-10-11 09:58:32 +08:00
    @scnace 感谢你的 golang 资源分享,今天 update 一个新的版本上去
    brucedone
        8
    brucedone  
    OP
       2016-10-11 09:59:02 +08:00
    @hanzichi 哇,这个可以收录到 demo 系列,我先标记一下,感谢你的分享~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1027 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:03 · PVG 06:03 · LAX 14:03 · JFK 17:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.