V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3309 days ago, the information mentioned may be changed or developed.
https://github.com/DormyMo/SpiderKeeper
主要实现 scrapy 工程的部署，抓取任务状态监控，定时启动爬虫等功能
支持多个 scrapyd 服务 ，方便爬虫集群的管理
后续等功能完善了之后 想支持更多爬虫框架来着
 |
1
allinwonder Apr 13, 2017
很厉害啊，用什么写的？
|
 |
2
modm OP @allinwonder flask
|
 |
3
xss Apr 13, 2017
看着比 scrapyd 要好用...
|
 |
4
simapple Apr 13, 2017
v2 上真是爬虫玩家多 而且高端玩家多
|
 |
5
yanzixuan Apr 13, 2017
怒赞。
|
 |
6
qile1 Apr 13, 2017 via Android
windows 系统可以用不？
|
 |
7
xrlin Apr 13, 2017 via iPhone
第 111 个赞
|
 |
10
im67 Apr 13, 2017
ui 可以的
|
 |
11
forever139 Apr 13, 2017
哈哈，前排支持
|
 |
12
bestrenxs Apr 13, 2017
先赞一个！
|
 |
13
netChen Apr 14, 2017
楼主强大，做成了我一直想做但却做不成的事，前排支持，然后给星
|
 |
14
qsnow6 Apr 19, 2017
非常好用！
作者的 Issues 回复的也很快 |
 |
15
diveandwatch Dec 1, 2017
请问，上传那个 egg 是 build-egg 生成的 egg,还是 scrapyd-deploy 成功之后自己生成的那个 egg 文件
|
|
16
diveandwatch Dec 1, 2017
爬出来的数据放在 dbs 里面的 sqlite 数据库了吗？可是用可视化工具读不出来数据。
|
 |
17
Redips Apr 24, 2018
不错,就是删除任务再新建,会提示达到最大工作量,而且人物也删除不掉
|
 |
18
baitongda Feb 1, 2019
我想知道你是用了什么 python 的管理框架吗。
|
Select Language