使用通配符的Hadoop DistCp？
答
DistCp实际上只是一个常规的map-reduce作业：您可以使用与用于输入常规map-reduce作业相同的通配语法。一般来说，你可以使用foo/*.log，这应该足够了。你可以在这里试用hadoop fs -ls声明 - 如果globbing与fs -ls一起使用，那么如果能与DistCp一起工作（好吧，差不多，但差异相当微妙）。
答
我意识到这是一个古老的线程。但我自己对这个问题的答案感兴趣 - 而且dk89在2013年也再次提出了问题。所以，我们来看看：
distcp不支持通配符。你可以做的最接近的是：
找到您要复制（源）的文件，过滤器，然后用grep，使用AWK HDFS格式，并把结果输出到“输入文件”列表：
hadoop dfs -lsr hdfs://localhost:9000/path/to/source/dir/
| grep -e webapp.log.3. | awk '{print "hdfs\://localhost\:9000/" $8'} > input-files.txt
把输入文件列表到HDFS
hadoop dfs -put input-files.txt .
创建目标目录
hadoop dfs -mkdir hdfs://localhost:9000/path/to/target/
运行distcp使用输入文件列表并指定目标hdfs目录：
hadoop distcp -i -f input-files.txt hdfs://localhost:9000/path/to/target/
似乎没有与s3n：//路径一起工作。 Hadoop -ls可以和s3n：//通配符一起使用，但是很奇怪。 – 2013-03-18 15:34:02
这个问题是从2011年开始的，是否有通过通配符启用distcp的更改？ – Dimitry 2013-06-18 19:40:12
版本2支持通配符，doc在这里：https://hadoop.apache.org/docs/r1.2.1/distcp2.html – 2016-08-01 20:27:34