spark Compression codec com.hadoop.compression.lzo.LzoCodec not found.
Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.在hadoop中配置了编解码器lzo,所以当使用yarn模式时,spark自身没有lzo的jar包所以无法找到!
解决办法
配置spark-default.conf文件!
注意
如果仍然不能找到,就将lzo的jar包放到spark的jars中