V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Curiosity777
V2EX  ›  Java

请教关于 flink 任务的问题

  •  
  •   Curiosity777 · 16 小时 52 分钟前 · 295 次点击
    1. 刚入门 flink ,目前测试了单机部署,发现集群重启后,提交的任务都丢失了,想要恢复任务的话,需要手动指定 savepoint ,请问大佬们,flink 任务能持久化么,如果集群意外重启了,能否自动从 checkpoint 恢复任务呢。

    2. 是不是 flink 本身不支持这种功能,需要靠三方软件来实现呢

    2 条回复    2025-01-17 18:03:03 +08:00
    smartruid
        1
    smartruid  
       16 小时 10 分钟前
    集群挂了没法自动恢复 job
    liprais
        2
    liprais  
       16 小时 3 分钟前
    用 resource provider (k8s /yarn )都行,再加上 jobmanager ha,基本能扛住节点意外重启的问题
    集群挂了老天爷来了也没用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2812 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 02:06 · PVG 10:06 · LAX 18:06 · JFK 21:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.