window10 下在eclipse把MapReduce程序打包成jar远程传送到hadoop2.8.0集群运行

前期准备：

1. win10 配置jdk 

2. eclipse安装

3. hadoop-2.8.0tar.gz 解压，后续需要导入jar包

4. linux CentOS 7 hadoop集群配置

正式工作：

1. 在eclipse中新建java项目编写MapReduce程序：wordcount测试程序

2. 导入需要的hadoop jar包

hadoop-2.8.0\share\hadoop\common

hadoop-2.8.0\share\hadoop\common\lib

hadoop-2.8.0\share\hadoop\mapreduce

hadoop-2.8.0\share\hadoop\yarn

3. 右键新建的项目，export 导出为jar file ，选择主类

4. 创建测试数据文本

5. 把jar 包和测试数据TXT格式的文本一起上传到hadoop的namenode节点

[[email protected] hadoop-2.8.0]# bin/hdfs dfs -mkdir input //创建输入文件夹input

[[email protected] hadoop-2.8.0]# bin/hdfs dfs -put /root/input/* input                                        //将本地的input文件夹下的file1.txt file2.txt放入hdfs的input文件夹中

查看放置是否成功：

6. hadoop中运行jar

input 文件夹在根目录下

关键：output 文件夹必须不存在

7. 查看任务结果

8. 结果存放在part-r-00000中，查看

成功！

删除文件命令：[[email protected] hadoop-2.8.0]# bin/hadoop dfs -rmr input/*