mapreduce二次排序案例
二次排序的步骤
1 自定义key。
mr中的分区和分组都和key相关,所有的key是需要被比较和排序的,需要二次排序时,先根据key中的第一个属性进行比较排序,第一个属性相同时,在第一个属性相同的情况下,再进行下一个的比较和排序;(程序员必知的8大排序:http://blog.****.net/qq_39532946/article/details/76228075)
所有自定义的key应该实现接口WritableComparable,因为是可序列的并且可比较的。并重载方法
2自定义分区类(继承Partitionner).
2.1 自定义分区函数类继承Partitioner。(第一次比较)。
public static class FirstPartitioner extends Partitioner<IntPair,IntWritable>
在job中设置使用setPartitionerClasss
2.2 key比较函数类需要继承WritableComparator(第二次比较)。
public class PairWritable implements WritableComparable<PairWritable>{
private String name;//要比较的第一个字段,姓名
private float money; //要比较的第二个字段,消费金额
// shuffle过程中的排序就是根据此处的比较规则
public int compareTo(PairWritable o){
//先比较二者的name
int comp =this.name.compareTo(o.name);
if(0!= comp){
return comp;
}
//在第一个字段name一样的情况下比较money,基本数据类型是没有compareTo,需要装箱成包装类
//return(Float.valueOf(this.money)).compareTo(Float.valueOf(o.money));
return Float.valueOf(o.money).compareTo(Float.valueOf(this.money));
}
}
public static class KeyComparator extends WritableComparator
必须有一个构造函数,并且重载 public int compare(WritableComparable w1, WritableComparable w2)
另一种方法是 实现接口RawComparator。
在job中设置使用setSortComparatorClass。
3自定义分组函数类,需要继承WritableComparator。
public static class GroupingComparator extends WritableComparator
必须有一个构造函数,并且重载 public int compare(WritableComparable w1, WritableComparable w2)
分组函数类另一种方法是实现接口RawComparator。
在job中设置使用setGroupingComparatorClass。
另外注意的是,如果reduce的输入与输出不是同一种类型,则不要定义Combiner也使用reduce,因为Combiner的输出是reduce的输入。除非重新定义一个Combiner。