对于Spark开发人员来说，了解stage的划分算法可以让你知道自己编写的spark application被划分为几个job，每个job被划分为几个stage，每个stage包括了你的哪些代码，只有知道了这些之后，碰到某个stage执行特别慢或者报错，你才能快速定位到对应的代码，对其进行性能优化和排错。
stage划分原理与源码
接着上期内核源码（五）的最后，每个action操作最终会调用SparkContext初始化时创建的DAGSchedule的runJob方法创建一个job：
Spark源码剖析（八）：stage划分原理与源码剖析
内容版权声明：除非注明，否则皆为本站原创文章。