Hadoop旧版中InputSplit的个数由下面三个参数决定:
goalSize:totalSize/numSpilt.totalSize为文件大小,numSplit为用户设定的map task个数,默认为1.
minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.
blockSize:HDFS中块的大小.
splitSize = max(minSize,min(goalSize,blockSIze))
新版:
maxSize:由配置参数mapred.max.split.size确定,已经不再考虑用户设定的map task个数.
minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.
blockSize:HDFS中块的大小.
splitSize = max(minSize,min(maxSize,blockSIze))