MapReduce Partitioner 二次分类
Partitioner：
二次分类，我的理解是：如果不加Partitioner组件，Reduce会将输入的所有类型数据整合在一个文件，如果加了，可以让reduce根据类型再做一次分类，分出多个Reduce，输出多个文件
图：
代码：
/**
* 自定义的Partitioner
* 二次分类
*/
public static class MyPartitioner extends Partitioner<Text, LongWritable> {
public int getPartition(Text key, LongWritable value, int i) {
if (key.toString().equals("xiaomi")) {
//指定交由第几个Reduce处理,后面输出的文件名也是xxx0001
return 0;
} else if (key.toString().equals("huawei")) {
//后面输出的文件名也是xxx0002
return 1;
} else if (key.toString().equals("sanxing")) {
return 2;
} else if (key.toString().equals("iphone")) {
return 3;
} else {
return 4;
}
}
}
//在作业提交之前设置Partitioner参数
job.setPartitionerClass(MyPartitioner.class);
//设置5个Reduce分区，每个类别一个Reduce，不设置这句，Partitioner不生效
job.setNumReduceTasks(5);