dtgxx
V2EX  ›  问与答

大数据 Spark、Flink 对于复杂业务逻辑处理是否有些吃力

  •  
  •   dtgxx · Oct 25, 2022 · 1485 views
    This topic created in 1309 days ago, the information mentioned may be changed or developed.
    公司做项目,项目的数据量级特别大,之前通过 python 搞的单台服务器的处理和业务逻辑代码处理不动了,所以上了 spark ,我之前对 spark 的理解是计算,基本就是提取一些字段,做指标统计,或者对海量数据做个清洗。
    但是对于业务逻辑,之前用单机版实现的,基本都是 python 脚本去写 if else ,数据量小,也是实时处理的,对于需要缓存的内容就直接扔到 redis 里面了,但是 spark 或者 flink 去做这个事情,好像不容易写这种逻辑代码,缓存的话只是在用 flink 自身的状态,也不适合频繁和 es 、redis 这种数据库实时交互。
    想请教下大家,对于传统的这种复杂的业务逻辑处理,当数据量巨大的时候,flink/spark 可以替代之前的框架完成吗?还是说这两个框架其实还是多用于统计分析。
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       Oct 25, 2022 via iPhone
    你自己在算子里面调 redis 没人拦着你
    dtgxx
        2
    dtgxx  
    OP
       Oct 25, 2022
    @liprais #1 好像悟了,直接用 flink 写复杂业务逻辑应该也没问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5322 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 07:36 · PVG 15:36 · LAX 00:36 · JFK 03:36
    ♥ Do have faith in what you're doing.