推广下自己的开源项目：分布式调度与计算框架—OhMyScheduler
tjq · KFCFans · 2020-05-22 08:41:54 +08:00 · 4786 次点击这是一个创建于 1647 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
w292614191 2020-05-22 08:51:42 +08:00
你这个支持刷新 执行器 吗？
比如调度中心重启了，会自动加载执行器进来吗？还是执行器也要跟着重启一次。 xxl-job，有时候无法刷新执行器进来。 |
 |
2
xinQing 2020-05-22 08:55:06 +08:00
可以啊
|
 |
3
tjq OP @w292614191 OhMyScheduler 没有执行器注册的概念，在 Server 调度执行的时候是根据执行器的全限定类名（比如 com.github.kfcfans.XXXProcessor ）去找具体的对象的，因此没有你说的问题。
欢迎试用和交流～ |
|
5
w292614191 2020-05-22 09:10:20 +08:00
serverAddress
文档说是调度中心的地址哇，执行器不是通过这个地址注册到调度中心的吗？ |
|
6
tjq OP @w292614191 不好意思我理解错了，你说的执行器其实就是接入 OhMyScheduler 的某个业务应用吧，我理解成具体的某个 Processor 类了。
以下为正式解答： 支持刷新。OhMyScheduler 的整体架构非常高可用，无论怎么折腾都可以恢复～ |
 |
7
labulaka521 2020-05-22 09:21:44 +08:00 via Android
|
|
8
tjq OP @labulaka521 不同款哦～
首先，主体语言不同 hhh，不过这个并不是很重要。 最重要的区别在于 OhMyScheduler 提供分布式计算能力，在业务越来越庞大的今天显得格外有意义～ （羡慕你好多 star 啊～（（这么多 star 了还要来我这里打广告拐跑我潜在的用户😭 不过好歹也算是同行，有兴趣可以交流一下哈～ |
|
9
w292614191 2020-05-22 09:37:51 +08:00
@tjq 看起来不错噢，有在线地址吗?
|
|
10
labulaka521 2020-05-22 09:38:59 +08:00 via Android
@tjq 我这个和那个 xxljob 类似的，star 会有的，我这就去给你点
|
 |
11
yuchenyang1994 2020-05-22 09:41:21 +08:00
Pornhub 风格 logo 好评
|
|
12
tjq OP @w292614191 不好意思目前还没有（主要原因是 vue 和 SpringBoot 结合后是浏览器发请求，导致访问不了后端服务，目前需要独立部署前端，我找个机会部署下吧）～
不过我提供了一种很方便的试用方法，只要有 Docker 环境，git clone 项目后运行 /other/script/build_docker.sh ，按提示操作可以自动部署 1 台 Server 和 2 台 Agent 进行试用～ 谢谢支持，欢迎试用和交流！ |
|
13
tjq OP @labulaka521 哈哈哈，谢谢老哥～我准备下阶段做个 DAG 工作流，我看你那项目目前也不支持，可以一起学习学习交流交流交流～
|
 |
14
tikazyq 2020-05-22 09:50:15 +08:00
crawlab 参考一下？用 go 写的
|
 |
15
cy476571989 2020-05-22 09:51:31 +08:00
@tjq 可以考虑把文档翻译为英文文档，扩大受众面，推荐使用我自己做的 breword 翻译工具: www.breword.com
|
|
16
tjq OP @yuchenyang1994 哈哈哈～
（我只是觉得好看，没别的意思嗷[手动滑稽] |
|
18
tjq OP  1
@cy476571989 一直有这个计划，拓宽海外市场嘛，让外国人见识见识我们中国程序员的厉害哈哈。
但是我英语挺烂的...再加上目前一个人维护那么大一个项目实在也没有额外精力去做国际化、翻译这些东西了。 看了一下是个很棒的工具，我会尝试的！谢谢～ |
|
19
cy476571989 2020-05-22 10:00:21 +08:00
@tjq 我可以帮忙维护翻译文档啊。而且在项目更新的时候，会自动抓取更新的内容， 在译文展示修改的内容，可以让译文文档的维护变得非常轻松。
你可以去 breword 注册账号，然后创建一个翻译项目，抓取你的这个项目的文档，然后你就是这个翻译项目的管理员了，我可以参与翻译，最终由你来 review 译文内容。 等项目变得受欢迎之后，应该能够吸引到更多希望能够参与翻译的朋友。 |
|
20
labulaka521 2020-05-22 10:00:42 +08:00
@tjq 是的，我那个也不支持，关键前端那拖拽 dag 不知道用什么搞
|
|
21
tjq OP @cy476571989 我已经注册完成并创建了项目，但是发现了一个问题。
我的文档是写在 GitHub Pages 里面的，所以你们的工具只抓取到了 Readme.md... 个人认为使用静态网页作为文档的开发者不在少数（主要是这样对用户比较友好），是否可以考虑下支持这个功能呢？ 我创建的项目叫：分布式调度与计算框架 OhMyScheduler 文档翻译 地址： https://www.breword.com/projects/5ec731deddcf37001b4c3423 |
|
22
tjq OP @labulaka521 我研究研究，等我搞出来了告诉你～
|
|
23
cy476571989 2020-05-22 10:09:11 +08:00
@tjq 我看到了，你的翻译语言选错了，
你的文档是中文的，应该选择： 中文 -> 英文， 你现在选择的是 英文 -> 中文。 语言选择错误，会导致机器翻译失败。 还有就是，你的实际文档目录为： guidance -> content -> docs 下面 我在后头手动把这个项目删除， 5 分钟后，你刷新没有你这个项目的时候，你再创建一个新的项目。 |
|
24
cy476571989 2020-05-22 10:11:14 +08:00
|
|
25
tjq OP @cy476571989 我重新创建了，创建的时候确认了很多遍，确定是中文 -> 英文，可是点击的一瞬间似乎又变成了英文 -> 中文...
然后我现在连个人主页都进不去了，进去就刷一下然后空白（ https://www.breword.com/tjq ）... 在这里交流不太方便（主要是回复还要扣钱），我觉得您的产品很棒很想尝试，能不能给个联系方式呢～ |
|
26
cy476571989 2020-05-22 10:23:36 +08:00
我个人邮箱为： [email protected] ，希望可以一起推动这个事情往前进。
|
|
27
cy476571989 2020-05-22 10:26:52 +08:00
@tjq 已经给你注册 breword 时候填写的邮箱，发送了邮件，可以查收一下。
|
|
28
labulaka521 2020-05-22 11:00:21 +08:00
@tjq 哈哈 好的
|
 |
29
gemini767 2020-05-22 13:38:09 +08:00
代码浓浓的阿里味
|
 |
33
fangcan 2020-05-22 14:38:35 +08:00
换个名字会不会好点 😂
|
 |
35
Mistwave 2020-05-22 16:58:08 +08:00 via iPhone
emmmm 不支持 DAG 的意思是，任务之间不可以配置依赖吗？这个算是调度系统的刚需了.....
我们去年自己写了一个调度系统，最主要的就是要解决依赖问题，HA 啥的都是顺便带的...... 如果让任务自己解决依赖的话，几百个任务里面要耦合这种代码，还是挺难受的 akka 写的好评，为啥不用 Scala 呢。akka 的 java dsl 不太顺手吧？ 另外问下，这个有上生产吗？有生产的调度数据可以分享下吗？比如文档中提到的“性能强劲”，有类似的 benchmark 吗？ |
|
37
tjq OP 2
@Mistwave 嗯，任务之间不可以配置依赖，不过目前正在全力开发中～
一开始不支持的原因是我个人一开始想要的主打功能是分布式计算，而且当时觉得 MapReduce 处理器能代替一部分 DAG 功能，不过现在已经意识到了 DAG 的重要性，不久的将来就会提供支持。 不用其他语言（其实我本来想用 Kotlin 的）主要是考虑到维护成本和接入成本，比如你用我这个框架，肯定会先把代码看一遍吧，国内后端领域 Scala 和 KT 的普及度都太低了，用这些语言写的话本项目基本最后就会变成我个人的一个玩具了。 在 Java 项目用 akka 确实很不舒服（光一个方法就 4 个 API，无力吐槽），不过本项目基本只是把 akka 当作了一个简化版 Netty 在用。因为为了 Processor 的可控性，还是要自己开线程池，也就没有采用 Actor 模型。 目前还停留于个人测试阶段...没有实际的生产数据，抱歉～ 性能强劲其实是想表达我调度层设计的比较高超和巧妙，我看过 XXL-Job 调度的代码，就是简单的 select for update +hash map 版时间轮，而本项目的实现是无锁化查询（可以理解为分段查询）+真正的时间轮（参考了 Netty 时间轮），性能自然不在一个等级上。不过事实上，对于调度应用，个人认为调度性能是远远达不到瓶颈的，撑死几千几万个任务，哪怕最简单的直接每秒数据库轮询都能符合性能要求。 最后，如果有兴趣使用，你可以尝试部署到预发观察几天～如果遇到什么 bug 或问题，可以直接联系我，最近我有充足的时间第一时间修复问题～ 感谢支持～ |
|
38
cy476571989 2020-05-22 20:41:04 +08:00
@tjq 建议可以做一个 docker 镜像，直接可以从 docker hub 拉取镜像试玩，这样尝鲜的话更容易点。
|
|
39
tjq OP @cy476571989 哈哈提供了哦～不过要仔细看文档才能发现就是了……
正在考虑搭个在线试用平台～ |
 |
40
hello2060 2020-05-22 20:53:30 +08:00
Java 新手想加入啊，可一个 issue 都没有不知道从哪入手啊
|
|
41
tjq OP @hello2060 可以先看看源码，理解项目整体的架构和用到的技术。对项目有了整体的把握，有自己的想法，就可以做贡献啦～慢慢来，我相信你可以的！
|
|
43
tjq OP @hello2060 嗯嗯，看到比较棒的设计或实现也可以写写博客分享啊哈哈（靠我一个人推广好难～，求帮助哈哈）。当然，有不懂的地方也可以问我～
|
|
44
tjq OP @labulaka521 老哥我搞定了，用 dagre-d3 这个库搞定的，代码很简单。
具体实现： https://github.com/KFCFans/OhMyScheduler-Console/blob/master/src/components/dag/WorkflowEditor.vue |
|
46
tjq OP @w292614191 v2.0.0 版本已发布，在线试用： https://www.yuque.com/ohmyscheduler/guidence/hnbskn
|
|
47
w292614191 2020-06-08 10:58:21 +08:00
|
|
48
tjq OP @w292614191 CRON 有很多在线生成器，我在文档里也放了链接，所以没有单独造轮子。不过可以考虑直接在 Web 页面加个跳转～
工作流其实就是配置任务与任务之间的依赖，比如有 A B C D 4 个任务，我希望 A 运行完以后运行 B 和 C，B 和 C 运行完以后运行 D，这就形成了一个依赖关系，可以通过有向无环图（ DAG ）来描述，这也就是工作流。 我会尽量把文档写的简单易懂～ 非常感谢您的建议～ |
|
49
w292614191 2020-06-08 14:13:31 +08:00
@tjq 我又试了试，这个工作流是类似子任务形式吗？支持参数传递吗？
建议支撑更丰富的参数形式哦。xxl-job 只能是 String 类型，我多个参数，只能手写 json 字符串，到后台转 Map，真是尴尬。 这个工作流，新建过程，导入的任务都在一行，无法形成节点关系。 |
|
50
tjq OP @w292614191 嗯，相当于高级版的子任务，每个节点都可以有任意个父节点和子节点，当然也是支持参数传递的。
不太理解“更丰富的参数形式”这句话，从前端控制台录入的也只能是 String 了吧......可能我没理解对意思，能不能详细描述下～ 工作流的画图教程在这里： https://www.yuque.com/ohmyscheduler/guidence/ysug77#wwLe8 我猜你应该是点到了字导致无法连线...（受限于本人的前端水平，目前用户体验不是很好 hhh，不过实际功能没有问题啦） |
|
51
w292614191 2020-06-08 16:09:37 +08:00
@tjq 就是可以选择是否 JSON 传递。然后弹出一个 K/V 形式的输入框，最后转成 JSON 字符串。
我实在太懒了，哈哈哈。 |
|
52
tjq OP @w292614191 哈哈哈感觉这个意义就不是很大了，而且不一定所有人都需要 json 数据嘛
|
Select Language