• 请不要在回答技术问题时复制粘贴 AI 生成的内容
7911364440
V2EX  ›  程序员

关于 Flink 做数据传输的疑问

  •  
  •   7911364440 · Jun 9, 2023 · 2137 views
    This topic created in 1083 days ago, the information mentioned may be changed or developed.

    目前是要做一个数据传输服务,需要根据页面提交的配置将数据从一个数据源同步到另一个数据源。数据源可能是关系型数据库,也可能是消息队列,或者 Hive 。

    了解了下 Flink 发现有两种提交 job 的方式:

    • 将程序打包成 jar 文件提交给 flink 去执行
    • 以 flink run 的形式执行 flink sql

    疑问是客户端运行时要怎么根据配置信息动态生成 flink job ,并远程提交给 flink 去执行

    3 replies    2023-06-09 12:53:49 +08:00
    wangyiyi10
        1
    wangyiyi10  
       Jun 9, 2023   ❤️ 1
    创建 remote env 。
    可以参考一下 Zeppelin 支持 Flink 的逻辑
    sijue
        2
    sijue  
       Jun 9, 2023
    Akka Actor System 通信系统了解一下
    ttskym
        3
    ttskym  
       Jun 9, 2023
    一条流里做,还是多条流做?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5343 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 07:37 · PVG 15:37 · LAX 00:37 · JFK 03:37
    ♥ Do have faith in what you're doing.