Hadoop新版和旧版中InputSplit大小的区别

Hadoop旧版中InputSplit的个数由下面三个参数决定:

goalSize:totalSize/numSpilt.totalSize为文件大小,numSplit为用户设定的map task个数,默认为1.

minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.

blockSize:HDFS中块的大小.

splitSize = max(minSize,min(goalSize,blockSIze))

新版:

maxSize:由配置参数mapred.max.split.size确定,已经不再考虑用户设定的map task个数.

minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.

blockSize:HDFS中块的大小.

splitSize = max(minSize,min(maxSize,blockSIze))

相关推荐