RT 。 后续可能想要做 hive 任务到 Spark 的迁移。 目前在这几个 API 中比较纠结。 想了解,一版生产这几个哪个用的多(在 etl 任务中),如果有好的生产模板推荐,那就更好的了。 🙏🙏
1
shuianfendi6 2020-07-14 11:17:27 +08:00
DataFrame 吧,rdd 已经被取代了
spark sql 写起来很爽,但是类型检查啥的都没,容易出错 |
2
liprais 2020-07-14 11:19:34 +08:00
DataFrame vs DataSet vs Spark SQL
这三个现在是一个东西 没事别用 rdd |
3
leiuu OP @shuianfendi6 rdd 可能一些较复杂的操作 还有一点用处
@liprais 可否展开说说。具体语法上呢,倾向于直接写 sql 还是用 spark 的语法如 where 、groupBy 、join 等。 |
5
hantsy 2020-07-14 11:25:33 +08:00
ETL 只用过 Spring Batch
|
6
leiuu OP @liprais 明白。这个三种倒是上手都比较快。spark sql 因为和标准 sql 类似可能会简单些。其实是想了解这几种用法实际生产过程有没有一些问题。哪种更适合代替 hive 生产数据。当然原理上应该都是基于 rdd 实现。
|
8
RudyGuo 2020-07-14 11:53:29 +08:00
hive sql 和 Spark sql 语法基本一样
|
9
hantsy 2020-07-14 12:04:35 +08:00
@leiuu Spring Batch 只作处理 ETL,不管数据的 Source,Sink 。
现在的话,大数据服务应该考虑 Spring Cloud Data Flow,复杂处理流程有可视化 Web UI 支持,管理不同的数据来源,处理过程可以开发成 Severless 程序,动态安装和组装成流程。 |
10
hantsy 2020-07-14 12:08:01 +08:00
Apache 上大数据方面比 Flink,Beam 没有用过,不过我一些经历,老外更喜欢是买背后商业公司的服务,开源项目支持力度实在不够。
|
11
Comdex 2020-07-14 13:16:06 +08:00 1
一般写 SparkSQL, 业务逻辑复杂就上 DataFrame 加点 java 代码
|