map任务split切片 reduce个数 partition
mapreduce（map和reduce个数） map任务split切片 reduce个数 partition(下面有源码)
map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block
由参与任务的文件个数决定的
maxSize:由配置参数mapred.max.spilt.size确定,已经不考虑用户设定的maptask个数;
minSize:inputSplit的最小值,由配置参数mapred.min.spilt.size确定,默认值为1;
BlockSize:HDFS中块的大小
splitSize=max(minsplitSzie,min(maxsplitSize,blockSize=128M))
fileSzie/splitSzie=split个数
conf.setLong("mapred.max.split.size",splitSize)
conf.setLong("mapred.min.split.size",splitSize)
按照正常方式,当最后两个切片小于blockSize大小的110%,会合并成一个block.
对于大文件，一般选择split=block，如果split<block 则会增加map执行的并发度，但是会造成在节点之间拉取数据
对于小文件，默认一个文件启动一个map，这样会启动多个map，增大节点资源消耗，此时可以使用使用InputFormat(下面有源码)将多个小文件加入到一个split，并适当增大split的大小，这样会减少map启动的个数，减少并发度，减少资源消耗
reduce个数：由分区个数决定 可以由用户在程序中Driver自定义job.setNumReduceTasks(3);一个ruduce对应一个结果文件partition
partiton（分区）：用来指定map输出的key交给哪个reuducer处理 默认是通过对map输出的key取hashcode (hashcode值唯一且对于数字和字母都可以进行处理)对指定的reduce个数求模（取余）
key.hashcode() % N=job.setNumReduceTasks(n)
Group 分组：map输出的相同key放到一个分组
Sort 排序： 根据key进行排序
/** Partition keys by their {@link Object#hashCode()}. */
@InterfaceAudience.Public
@InterfaceStability.Stable
public class HashPartitioner<K, V> extends Partitioner<K, V> {
/** Use {@link Object#hashCode()} to partition. */
public int getPartition(K key, V value,
int numReduceTasks) {
return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
}
}
public abstract class CombineFileInputFormat<K, V> extends CombineFileInputFormat<K, V> implements InputFormat<K, V>{
public InputSplit[] getSplits(JobConf job, int numSplits)
throws IOException {
List<InputSplit> newStyleSplits =
super.getSplits(new Job(job));
InputSplit[] ret = new InputSplit[newStyleSplits.size()];
for(int pos = 0; pos < newStyleSplits.size(); ++pos) {
CombineFileSplit newStyleSplit =
(CombineFileSplit) newStyleSplits.get(pos);
ret[pos] = new CombineFileSplit(job, newStyleSplit.getPaths(),
newStyleSplit.getStartOffsets(), newStyleSplit.getLengths(),
newStyleSplit.getLocations());
}
return ret;
}
}