请教关于 hadoop mapred.job.map.capacity 和 mapred.map.tasks 的问题

Chaox · 2021-10-03T08:22:12Z

虚心请教！我是 hadoop 新手，请问：在 hadoop streaming 配置中我看到: mapred.map.tasks 参数的意思是 map 任务个数 mapred.job.map.capacity 是最多同时运行 map 任务数令我费解的是 1.这两个参数的任务指的是一个意思吗？是 yarn 中分配的 container 所运行的任务吗 2.这个 mapred.job.map.capacity 指是集群的并发数还是单机的并发数呢 3.我看网上一些例子中 capacity 已经超过了 tasks 的数量，这不是很奇怪吗

This topic created in 1686 days ago, the information mentioned may be changed or developed.

虚心请教！我是 hadoop 新手，请问：

在 hadoop streaming 配置中我看到:

mapred.map.tasks 参数的意思是 map 任务个数
mapred.job.map.capacity 是最多同时运行 map 任务数

令我费解的是

1.这两个参数的任务指的是一个意思吗？是 yarn 中分配的 container 所运行的任务吗
2.这个 mapred.job.map.capacity 指是集群的并发数还是单机的并发数呢
3.我看网上一些例子中 capacity 已经超过了 tasks 的数量，这不是很奇怪吗

No Comments Yet

hadoop tasks 并发数 City