组里有一些 parquet 希望可以转换格式成 csv 这样的格式，方便人阅读。
parquet 内部有比较复杂的数据结构， 比如 array of map, array of structs.
尝试过用 pandas 读取 parquet，直接返回 pyarrow not implemented error，原因是 pandas 会调用 pyarrow 这个模块进行读取. 上网发现读取复杂格式的这个 feature 在 pyarrow 的 jira 里躺了 3 年了。
我尝试用 spark 直接读取成 spark dataframe, 然后尝试用 spark dataframe 直接转 csv， 也失败了，原因是 csv 不支持 array 。
总结下有这么几个难点：
1. 无法读取，pandas 读不了，spark 能读但是其实不符合我们组的要求，他们希望做那种只有 jre 环境就能跑的，或者整个 exe
2. 无法输出，csv 不支持 array，不能转化的时候把所有数据全处理成 string 再输出吧？这个可能很费时？ 我没尝试过但感觉不是好方法
求指点！
parquet 内部有比较复杂的数据结构， 比如 array of map, array of structs.
尝试过用 pandas 读取 parquet，直接返回 pyarrow not implemented error，原因是 pandas 会调用 pyarrow 这个模块进行读取. 上网发现读取复杂格式的这个 feature 在 pyarrow 的 jira 里躺了 3 年了。
我尝试用 spark 直接读取成 spark dataframe, 然后尝试用 spark dataframe 直接转 csv， 也失败了，原因是 csv 不支持 array 。
总结下有这么几个难点：
1. 无法读取，pandas 读不了，spark 能读但是其实不符合我们组的要求，他们希望做那种只有 jre 环境就能跑的，或者整个 exe
2. 无法输出，csv 不支持 array，不能转化的时候把所有数据全处理成 string 再输出吧？这个可能很费时？ 我没尝试过但感觉不是好方法
求指点！
Select Language