使用MapReduce API使用Gzip压缩在HDFS中复制文件

Question

我正在用Java写一个归档程序。将被归档的文件已经驻留在HDFS中。我需要能够将文件从HDFS中的一个位置移动到另一个位置，最后的文件使用Gzip进行压缩。要移动的文件可能非常大，因此使用HDFS API移动它们并对它们进行压缩可能效率很低。所以我想我可以在我的代码中写一个mapreduce作业来为我做这件事。

但是，我一直无法找到任何示例，告诉我如何使用MapReduce API复制这些文件，并使它们以gzip格式输出。实际上，我甚至努力寻找一个程序化的例子来说明如何通过mapreduce复制HDFS中的文件。

任何人都可以介绍一下如何使用MapReduce API完成此任务吗？

编辑：这里是工作的配置代码，我到目前为止，这是改编自帮助，阿马尔给我：

 conf.setBoolean("mapred.output.compress", true); 
     conf.set("mapred.output.compression.codec","org.apache.hadoop.io.compress.GzipCodec"); 
     Job job = new Job(conf); 
     job.setJarByClass(LogArchiver.class); 
     job.setJobName("ArchiveMover_"+dbname); 
     job.setOutputKeyClass(Text.class); 
     job.setOutputValueClass(Text.class); 
     //job.setMapperClass(IdentityMapper.class); 
     //job.setReducerClass(IdentityReducer.class); 
     job.setInputFormatClass(NonSplittableTextInputFormat.class); 
     job.setOutputFormatClass(TextOutputFormat.class); 
     job.setNumReduceTasks(0); 
     FileInputFormat.setInputPaths(job, new Path(archiveStaging+"/"+dbname+"/*/*")); 
     FileOutputFormat.setOutputPath(job, new Path(archiveRoot+"/"+dbname)); 
     job.submit(); 

这里是类声明NonSplittableTextInputFormat这是LogArchiver类

内

public class NonSplittableTextInputFormat extends TextInputFormat { 
    public NonSplittableTextInputFormat() { 
    } 

    @Override 
    protected boolean isSplitable(JobContext context, Path file) { 
     return false; 
    } 
} 

Answer 1

你可以写与IdentityMapper和IdentityReducer一个custom jar implementation。 除了纯文本文件，您可以生成gzip文件作为输出。设置在run()以下配置：

conf.setBoolean("mapred.output.compress", true); 
conf.set("mapred.output.compression.codec","org.apache.hadoop.io.compress.GzipCodec"); 

为了确保数量在输入和输出文件都相同，只是输出文件必须用gzip压缩，你必须做两件事情：

1. 实现不可分割文本输入格式
2. 将减少任务设置为零。

为了确保每个映射器，一个读取文件时，你可能会延长TextInputFormat如下：

import org.apache.hadoop.fs.*; 
import org.apache.hadoop.mapred.TextInputFormat; 
public class NonSplittableTextInputFormat extends TextInputFormat { 
    @Override 
    protected boolean isSplitable(FileSystem fs, Path file) { 
     return false; 
    } 
} 

，并使用上面的实现为：

job.setInputFormatClass(NonSplittableTextInputFormat.class); 

设置减少任务为零，请执行以下操作：

job.setNumReduceTasks(0); 

这会为你完成这项工作，但最后一件事是文件名不会相同！但我也相信，这里也必须有一个解决方法。