求问 hive 和 sparkSQL 的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2833 days ago, the information mentioned may be changed or developed.

如果每天执行一次 job

表是每天建一个,还是更新之前的表?

还有就是,你们是这么写数据到 FS,然后再从 FS 到 hive 的

2 replies • 2018-08-07 14:38:56 +08:00

atomstar

Aug 7, 2018

如果是同类数据，肯定是根据时间分区啊每天写入新的分区即可。
至于数据怎么写入，要看你的源从哪里流来的，可以直接写 hdfs，也是根据日期分区写，然后做一下分区关联

mortonnex

Aug 7, 2018

@atomstar 谢谢

如果用 FS 作源,那么一般是怎么写 HDFS 的? 一天中某个时间统一写入?还是持续写入?