Spark RDD深度解析-RDD计算流程 (4)

从对象产生的顺序看,先生成了HadoopRDD,调用两次map方法后依次产生两个MapPartitionsRDD;从执行的角度看,先执行最后一个RDDcompute方法,在计算过程中递归执行父RDDcompute,以生成对应RDD的数据数据加载角度看,第一个构造出来的RDD执行compute时才会将数据载入内存(本例中为HDFS读入内存),然后在这些数据上执行用户传入的方法,依次生成子RDD的内存数据。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyzfwj.html