想研究 Spark RPC 的主 er，有福了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 811 天前的主题，其中的信息可能已经有所发展或是发生改变。

为啥说有福？

把 rpc 模块从 spark 源码里面拆出来，可以独立运行
代码量少了 N 倍，不在惧怕海量代码
对比 Akka Actor ，实现 Hello World

看大型源码库不易，期待您的鼓励： https://github.com/changzhiwin/spark-rpc

RPC

Spark

源码库

代码

15 条回复 • 2023-01-03 21:48:46 +08:00

lmshl

2022-09-04 12:46:32 +08:00

感觉不如去研究 ScalaPB 或者 akka-grpc ，那才是真正的通用 RPC 框架

真要是对比 RPC 框架的话也不应该拿 Akka actor 对比，Akka remote/cluster/sharding 那都是做分布式系统建模的，压根不是给通用 rock 场景准备的方案

lmshl

2022-09-04 12:50:01 +08:00

*typo: rock -> rpc

tyrantlucifer

2022-09-04 13:41:01 +08:00

不错，好东西，支持一下。

winchang

2022-09-04 14:25:56 +08:00

@lmshl 你说没问题，不是要对比出个啥子。
只是在研究 spark core 的时候，顺便把 rpc 理解了下。
又因为早期 spark 的版本是用的 akka ，后面 Spark 采用了自己实现的简版 rpc 。
纯粹技术学习，不是为了说明好与坏。

lmshl

2022-09-07 11:30:14 +08:00

@winchang 如果有意向研究 Scala 方向的技术的话，建议沿着你 quill + http4s 那条路(changzhiwin/mvc-quill)接着走，比如从 quill 层直接返回 cats-effect 的 IO ，全程不参与 Future 。还有用 Tagless final 来替换 class 构造参数的注入形式等等

winchang

2022-09-07 19:49:51 +08:00

@lmshl 你说这个路子，国内很少有应用的，工作机会少是个问题。

lmshl

2022-09-07 20:26:40 +08:00

@winchang 扎心了，扎心了

不过说真的，我要是失业了，我就学好英语去卷国外的远程工作，函数式方向时薪能给到 $100/h 左右

winchang

2022-09-07 21:15:48 +08:00

@lmshl 学好英语，是比编程、看源代码至少难一个数量级的事情。卷国外远程，需要流利的英语口语（我过的亏，是写不出来的）。

winchang

2022-09-07 21:17:26 +08:00

@lmshl 介绍个机会，我大概率能把 quill + http4s 研究的明明白白。

hepin1989

2022-10-14 02:19:20 +08:00

给 Akka 贡献点吧，thanks ，给 fork 贡献点也行

winchang

2022-11-13 17:04:03 +08:00

@hepin1989 你们有贡献 Akka ？

hepin1989

2022-11-14 18:54:38 +08:00

@winchang 我个人有一些的。

winchang

2022-11-14 19:00:46 +08:00

@hepin1989 follow you

winchang

2022-11-14 19:02:52 +08:00

akka 的 LICENSE 换了吧，玩法有不一样吗？

sinboy1988

2023-01-03 21:48:46 +08:00 via Android

start ➕1 ，关注