• 请不要在回答技术问题时复制粘贴 AI 生成的内容
dsj11231
V2EX  ›  程序员

大数据当下都流行哪些技术栈?

  •  
  •   dsj11231 · Apr 6, 2022 · 3058 views
    This topic created in 1554 days ago, the information mentioned may be changed or developed.

    在公司干了三年多的大数据,平时工作中接触到的基本就 hadoop 、spark 、hive 等框架,工作内容基本是 spark 离线处理,现在想去外面看看新的工作,但是由于自己平时没好好学习更新自己技术,所以请教各位 v 站老哥,我该学点什么新的大数据技术栈?

    3 replies    2022-04-07 13:08:40 +08:00
    vincent7245
        1
    vincent7245  
       Apr 7, 2022
    大数据现在也很卷了,坐标北京

    传统技术
    hadoop 3.0/spark 3.0/hive 3.0/kafka 3.0 /zookeeper/hbase 新特性 /原理 /源码

    新技术
    pulsar
    flink 开发 /原理 /源码
    OLAP 技术栈 : impala+kudu /presto / doris /clickhouse
    数据湖 hudi

    架构方面
    数据中台 /大数据云原生 /全域数仓 /onedata/指标平台 等等吧,看你侧重哪个方向了
    dsj11231
        2
    dsj11231  
    OP
       Apr 7, 2022
    @vincent7245 谢谢!
    sadhen
        3
    sadhen  
       Apr 7, 2022
    把 Spark 研究透彻!
    目前的趋势是 Spark SQL ---> PySpark 。Data+AI 的结合是当下的热门。

    感兴趣找我内推: https://github.com/da-tubi
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5899 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 91ms · UTC 02:06 · PVG 10:06 · LAX 19:06 · JFK 22:06
    ♥ Do have faith in what you're doing.