Hive 报错求助

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1204 天前的主题，其中的信息可能已经有所发展或是发生改变。

我在进行聚合查询时 hive 报错，无论是 hiveserver 2 的方式还是直接 hive 命令行查询都是这样，检查了 hive 日志发现重要的错误是这个

正常的查询是可以的，应该就是出现在聚合查询的 shuffle 阶段出了问题

Container launch failed for container_1627546749978_0001_01_000005 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

我查了网上的解决方式一般是修改 yarn-site.xml 在重启 Hadoop，但是我的 yarn-site 应该没问题

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

请大神帮忙～

3 条回复 • 2021-07-29 18:59:25 +08:00

CaptainD

2021-07-29 16:40:56 +08:00

补充一下，在 hiveserver2 的界面，stage 的 map 和 reduce 阶段都是 100%的，但是 Ended Job = XXX with errors

hive 版本：Hive 3.1.2
hadoop 版本：Hadoop 3.2.1

JKeita

2021-07-29 16:58:42 +08:00

用 spark 会不会好点

lbingl

2021-07-29 18:59:25 +08:00

重新格式化一下节点试试？或者 Hadoop 是不是在安全模式运行？
或者有可能是 Hive 和 Hadoop 版本不兼容（有时候官网的表格上说兼容，但是有的功能还是有 bug，我真遇到过这种情况，Hadoop 3.3.0 降级之后 bug 就没了）
Hadoop，Hive，Spark，Yarn，HBase，这几个真是我用过的各种程序里报错最多的一群贵物了。建议上云，用 Databricks 之类的平台省事好多。