我知道 scrapy 可以使用 scrapyd 来监控 可是我有很多 requests 写的爬虫该如何监控呢？ 我目前的做法是在 pycharm 里一个个去运行程序 然后在 run 栏里会出来多个标签可以监控输出 或者是打开多个 cmd 每个里面 python xxxx 但是这样当电脑重启再来启动多个爬虫很麻烦 有没有好的方法或者 pycharm 现成的设置能让我配置好所有爬虫程序后一键启动并且分成多个标签让我来监控程序的输出呢？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2539 days ago, the information mentioned may be changed or developed.
 |
1
ModerRAS Jun 11, 2019 via Android
你可以直接写一个调用其他爬虫 main 函数的脚本，然后直接输出控制台就好了
|
 |
2
genius2k Jun 12, 2019
logger
|
 |
3
Luxurious Jun 12, 2019
把 requests 爬虫分下类, 放到一个文件夹, 另外写一个脚本来管理这些文件夹下的爬虫
|
 |
4
fakeman Jun 12, 2019
用 supervisor 即可
|
 |
5
rocketman13 Jun 12, 2019
脚本就可以一键启动，日志管理就可以监控输出
|
 |
6
lowman Jun 12, 2019
进程管理工具
|
 |
7
tikazyq Jun 12, 2019
这个需求太符合 Crawlab 了！ Crawlab 是分布式爬虫管理平台，非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用
Github: https://github.com/tikazyq/crawlab |
 |
8
huaerxiela6 Jun 12, 2019
进程管理工具
|
 |
9
Hiyokunotori OP @fakeman win 的话使用什么呢。。
|
|
10
fakeman Jul 18, 2019  1
|
|
11
Hiyokunotori OP @fakeman 十分感谢
|
Select Language