V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
licolnlee886
V2EX  ›  Kubernetes

k8s 并行处理有没有相关代码例子

  •  
  •   licolnlee886 · 2023-11-07 22:11:28 +08:00 via Android · 1052 次点击
    这是一个创建于 366 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想请教一下各位大佬,比如说给一个很大区间范围的数据进行分区求和,先由 master 分给各个 worker ,由 worker 来计算后反馈给 master 进行汇总,我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点,谢谢。
    3 条回复    2023-11-08 09:38:40 +08:00
    YsHaNg
        1
    YsHaNg  
       2023-11-07 22:32:07 +08:00
    ccde8259
        2
    ccde8259  
       2023-11-07 22:36:23 +08:00 via iPhone
    为啥是 K8S 而不是 YARN+Spark
    dayeye2006199
        3
    dayeye2006199  
       2023-11-08 09:38:40 +08:00 via iPhone
    你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事

    复杂点可以用 spark ,简单点就 ray dask 这些并行处理框架
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2809 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 13:19 · PVG 21:19 · LAX 05:19 · JFK 08:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.