Hadoop ——mapreduce——partitioner 理解
partitioner是在mapreduce的map过程之后,将mapper输出文件分成几个文件,再交由reducer处理。
之前老以为是在reducer阶段进行的partitioner,所以导致自己写了分区类,有了不同的文件输出,但是输出文件中的其中一个文件什么都没有。
code:
import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; /** * @Description: 实现分别输出到不同的文件 * @Date:2018-10-19 */ public class MyPartitoner extends Partitioner<Text, IntWritable> { public int getPartition (Text key, IntWritable values, int numPartioner) throws IndexOutOfBoundsException{ //int i = Integer.parseInt(values.toString()); //int a = i % numPartioner; String str = key.toString(); char ch = str.charAt(0); switch (ch){ case 'a' : return 0; case 'b' : return 1; default: return 2; } } }
这是一个wordcount程序,改写之后,会出现三个分区文件,一个文件里面只存放统计了a的次数记录。一个文件里面只存放统计b的次数记录,第三个文件就存放统计其他字符的次数记录。
主函数设置:
Information:你要生成几个输出文件,就需要设置多少个NumReduceTasks
再贴一个partitoner的源码:
重写自己的partitioner的时候就需要重写getPartition方法,这是一个抽象方法,继承Partitioner类的时候,必须给他实现。