Hadoop新版和旧版中InputSplit大小的区别

Hadoop旧版中InputSplit的个数由下面三个参数决定:

goalSize:totalSize/numSpilt.totalSize为文件大小,numSplit为用户设定的map task个数,默认为1.

minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.

blockSize:HDFS中块的大小.

splitSize = max(minSize,min(goalSize,blockSIze))

新版:

maxSize:由配置参数mapred.max.split.size确定,已经不再考虑用户设定的map task个数.

minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.

blockSize:HDFS中块的大小.

splitSize = max(minSize,min(maxSize,blockSIze))

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/242062d7b1c29801d48ce6364d8104c5.html