V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Knife42
V2EX  ›  Python

写了一个 leetcode 的爬虫, 欢迎大家试用/报 bug :)

  •  1
     
  •   Knife42 ·
    knight42 · 2015-07-03 13:15:01 +08:00 · 5198 次点击
    这是一个创建于 3423 天前的主题,其中的信息可能已经有所发展或是发生改变。
    详见 https://github.com/knight42/LeetCodeSpider

    脚本能够根据题号, 难度, 标签, 分类(algorithms, database, shell) 来筛选题目并保存在脚本所在目录下.

    PS:
    目前只能保存题目的描述. 我想同时抓取题目下的代码, 但那些代码貌似是动态生成的, 我不知道该怎么抓... 请大神们不吝赐教 Orz
    第 1 条附言  ·  2015-07-05 11:19:14 +08:00
    现在已经能根据指定的语言抓取题目下默认的代码了, 与题目描述分开并保存在同一目录下. 欢迎试用/报bug/提建议 :)

    另外, 我在深入学习了 argparse 模块后, 决定用子命令让程序的结构更加清晰, 而不同的目录/标签/难度/序号 改为用空格进行分割, 详见项目主页. 如果带来了不便, 请包涵~~
    第 2 条附言  ·  2015-07-07 11:37:29 +08:00
    增加了 save_submissions 子命令, 现在该脚本可以保存你在 leetcode 上不同语言的最近一次 accepted 的提交. 欢迎试用/报bug :)
    11 条回复    2015-07-06 10:40:07 +08:00
    junnplus
        1
    junnplus  
       2015-07-03 16:47:05 +08:00 via Android
    https://github.com/Junnplus/OJCC
    我写的一个用来抓不同oj的题,并且会支持提交,打算写成像vj那种形式,目前只是写着玩,欢迎吐槽
    jiayao321
        2
    jiayao321  
       2015-07-04 01:57:05 +08:00
    求头像原图
    imink
        3
    imink  
       2015-07-04 09:24:50 +08:00
    关注下
    Knife42
        4
    Knife42  
    OP
       2015-07-04 09:44:54 +08:00
    @jiayao321 我也是在网上找的~刚才用 Google 搜了下, 这张图应该符合你的要求http://xyne.archlinux.ca/img/arch_linux_programming_language_logos/arch-python_logo.svg
    Knife42
        5
    Knife42  
    OP
       2015-07-04 09:45:09 +08:00
    @imink 感谢关注 :)
    Knife42
        6
    Knife42  
    OP
       2015-07-04 09:46:24 +08:00
    @junnplus 支持提交的功能很赞啊! 学习了~
    junnplus
        7
    junnplus  
       2015-07-04 14:42:03 +08:00 via Android
    @Knife42 同求头像原图,同archer 和pythoner
    junnplus
        8
    junnplus  
       2015-07-04 14:43:28 +08:00 via Android
    @Knife42 现在只写poj的
    Knife42
        9
    Knife42  
    OP
       2015-07-05 11:20:34 +08:00
    @junnplus 见 4 楼....
    zwpaper
        10
    zwpaper  
       2015-07-05 15:28:29 +08:00 via Android
    我也在做……不过才开始,已 star,等我的做好了也拿出来溜溜~
    都是 request + bs4 啊
    Knife42
        11
    Knife42  
    OP
       2015-07-06 10:40:07 +08:00
    @zwpaper 谢谢! 接下来我打算实现保存已提交的代码这一功能, 一起加油哈~
    感觉现在用 py3 写简单的爬虫, requests 跟 bs4 已经是标配了吧, 它们用起来太方便了 :D
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5517 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 08:50 · PVG 16:50 · LAX 00:50 · JFK 03:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.