这是一个创建于 2565 天前的主题，其中的信息可能已经有所发展或是发生改变。
想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.
第 1 条附言 · 2017-11-14 13:57:19 +08:00
我用了一个很弱智的方法解决这个问题
- 在jenkins 上建一个任务来跑 spark 脚本
- 用 ccmenu 监控 jenkins 上那个任务是否执行结束
 |
1
Nitromethane 2017-11-14 11:53:00 +08:00
没有~
|
 |
2
tinybaby365 2017-11-14 12:09:31 +08:00
写个 shell
apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'` 配合 mac 的 say 命令，通过喇叭报警； curl 调用 pushover 手机报警 |
 |
3
ufo22940268 OP @tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我
|
 |
4
CallFold 2017-11-14 14:45:05 +08:00
|
 |
5
kex0916 2017-11-15 10:07:28 +08:00
mac 上没有专门的 spark 任务监控工具
但是 spark 自身提供了一套 REST API，可以监控 application、executor、job、task 等状态，http://spark.apache.org/docs/latest/monitoring.html#rest-api，可以从这方面入手。 |
 |
6
WendellSun 2017-11-15 10:36:48 +08:00
@kex0916 流弊
|
Select Language