spark 大数据离线分析爬虫存到 csv 有的列是长度不固定的 list 请问应该怎么存到 hive？直接存 list 吗？该怎么分析呢？

› Spark

This topic created in 2044 days ago, the information mentioned may be changed or developed.

完全没有头绪另目前自己定的流程是爬虫-》 hdfs-》通过 scala 预处理后存 hive-》 scala 分析-》 mysql-》可视化请问这个流程有什么问题吗？看其他项目处理的数据都没有 list 我是因为那列有的是空有的有三四个数据然后就直接存的 list 该怎么处理呢？我也没能查到其他人有类似的处理流程。。。

List

Scala

流程

处理

1 replies • 2024-07-15 15:51:34 +08:00

zwenooo

Jul 15, 2024

直接存 list 呀，用的时候炸开

spark 大数据离线分析 爬虫存到 csv 有的列是长度不固定的 list 请问应该怎么存到 hive？直接存 list 吗？该怎么分析呢？

spark 大数据离线分析爬虫存到 csv 有的列是长度不固定的 list 请问应该怎么存到 hive？直接存 list 吗？该怎么分析呢？