V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
爱意满满的作品展示区。
jrw

Aloha:一个分布式任务调度框架

  •  
  •   jrw · Mar 27, 2019 · 3440 views
    This topic created in 2592 days ago, the information mentioned may be changed or developed.

    Aloha 是一个基于 Scala 实现的分布式的任务调度和管理框架,提供插件式扩展功能,可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任务管理入口。例如,在数据平台上通常会运行各种类型的应用,如 Spark 任务,Flink 任务,ETL 任务等,统一对这些任务进行管理并及时感知任务状态的变化是很有必要的。

    Aloha 的基本实现是基于 Spark 的任务调度模块,在 Master 和 Worker 组件的基础上进行了修改,并提供了扩展接口,可以方便地集成各种类型的任务。Master 支持高可用配置及状态恢复,并提供了 REST 接口用于提交任务。

    Aloha 现已在 Github 开源,项目地址: https://github.com/jrthe42/aloha。有关该项目的任何问题,欢迎各位通过 issue 和我进行交流。

    Aloha 的详细设计和实现

    3 replies    2019-03-28 14:16:56 +08:00
    yjxkwp
        1
    yjxkwp  
       Mar 27, 2019
    名字有点暴力🤓
    crystom
        2
    crystom  
       Mar 28, 2019
    和上一代的 airflow 比怎么样
    thisisgpy
        3
    thisisgpy  
       Mar 28, 2019
    这个名字记得是一款基佬交友软件
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   779 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 20:40 · PVG 04:40 · LAX 13:40 · JFK 16:40
    ♥ Do have faith in what you're doing.