关于 Spark Task 的疑问

› Spark

› Mastering Apache Spark 2

This topic created in 2115 days ago, the information mentioned may be changed or developed.

avatar

关于上面那个图，ShuffleMapStage 中，有三个 RDD，每个 RDD 有三个分区我看网上文章都是说一个分区对应一个 task，

1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。

2.但站在 pipeline 角度上看，应该只有三个 task，每个 RDD 的一个分区组合成一个 task 。

上面两种说法，哪种是正确的呢，被搞糊涂了。谢谢！

2 replies • 2020-08-05 10:04:45 +08:00

Finch

Aug 5, 2020 via iPhone

一般是多少个 partition 就有多少个 task 。
如果是 9 个 task 就没有 DAG 的必要了。

starry97

Aug 5, 2020

@Finch 一般是多少个 partition 就有多少个 task 。那 ShuffleMapStage 中有 9 个分区，那么就有 9 个 task 了？

不过我现在知道了，是以 stage 最后 RDD 的分区数为例，还是感谢您！