请教个 hadoop 指令问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Apache Hadoop

› Treasure Data

这是一个创建于 2296 天前的主题，其中的信息可能已经有所发展或是发生改变。

hadoop fs -cat $data_set_high/p*|awk -v repeat=${num} '{for(i=0;i<repeat;i++)print}' >> $local_file

没太懂这一句，新手上路，请各位指教一下。

1 条回复 • 2018-07-27 11:56:35 +08:00

owenliang

2018-07-27 11:56:35 +08:00

输出 hdfs 里的一个文件，然后本机 awk 运算，运算规则是：

每一行重复 num 次，最终全部输出到 local_file。