Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C
我是对map的输出key类型仅仅实现了Writable,而没有实现comparable
由上图可知,会进行shuffle阶段对key进行分类,相同的key,会把value收集在一起,就是reduce 的Iterable value
解决办法 需要map阶段输出的key类型实现 compareTo
如果只进行序列化是可以仅仅实现Writable接口 write(),readFile的
map到reduce时存在shuffle,若作为key,则需要实现WritableComparable