V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
modm
V2EX  ›  Python

用 scrapy 玩爬虫的这么多 ,遂写了个 scrapy 的管理界面,各位大佬瞧瞧

  •  
  •   modm · 2017-04-13 10:23:31 +08:00 · 11180 次点击
    这是一个创建于 2782 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/DormyMo/SpiderKeeper

    主要实现 scrapy 工程的部署,抓取任务状态监控,定时启动爬虫等功能

    支持多个 scrapyd 服务 ,方便爬虫集群的管理

    后续等功能完善了之后 想支持更多爬虫框架来着

    18 条回复    2019-02-01 16:48:23 +08:00
    allinwonder
        1
    allinwonder  
       2017-04-13 10:44:43 +08:00
    很厉害啊,用什么写的?
    modm
        2
    modm  
    OP
       2017-04-13 10:50:32 +08:00
    xss
        3
    xss  
       2017-04-13 11:31:51 +08:00
    看着比 scrapyd 要好用...
    simapple
        4
    simapple  
       2017-04-13 11:33:47 +08:00
    v2 上真是爬虫玩家多 而且高端玩家多
    yanzixuan
        5
    yanzixuan  
       2017-04-13 11:34:27 +08:00
    怒赞。
    qile1
        6
    qile1  
       2017-04-13 12:12:53 +08:00 via Android
    windows 系统可以用不?
    xrlin
        7
    xrlin  
       2017-04-13 12:24:28 +08:00 via iPhone
    第 111 个赞
    modm
        8
    modm  
    OP
       2017-04-13 12:28:11 +08:00 via iPhone
    @qile1 应该可以,没测试过
    modm
        9
    modm  
    OP
       2017-04-13 12:28:30 +08:00 via iPhone
    @xrlin 👍
    im67
        10
    im67  
       2017-04-13 14:31:27 +08:00
    ui 可以的
    forever139
        11
    forever139  
       2017-04-13 15:27:24 +08:00
    哈哈,前排支持
    bestrenxs
        12
    bestrenxs  
       2017-04-13 19:24:31 +08:00
    先赞一个!
    netChen
        13
    netChen  
       2017-04-14 10:01:50 +08:00
    楼主强大,做成了我一直想做但却做不成的事,前排支持,然后给星
    qsnow6
        14
    qsnow6  
       2017-04-19 10:27:10 +08:00
    非常好用!
    作者的 Issues 回复的也很快
    diveandwatch
        15
    diveandwatch  
       2017-12-01 10:44:05 +08:00
    请问,上传那个 egg 是 build-egg 生成的 egg,还是 scrapyd-deploy 成功之后自己生成的那个 egg 文件
    diveandwatch
        16
    diveandwatch  
       2017-12-01 14:30:07 +08:00
    爬出来的数据放在 dbs 里面的 sqlite 数据库了吗?可是用可视化工具读不出来数据。
    Redips
        17
    Redips  
       2018-04-24 14:07:15 +08:00
    不错,就是删除任务再新建,会提示达到最大工作量,而且人物也删除不掉
    baitongda
        18
    baitongda  
       2019-02-01 16:48:23 +08:00
    我想知道你是用了什么 python 的管理框架吗。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1191 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:54 · PVG 01:54 · LAX 09:54 · JFK 12:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.