Windows10下部署开发环境(伪分布式环境)

电脑环境:Windows10 家庭中文版
Eclipse版本:Oxygen.3a Release (4.7.3a)
Hadoop版本:hadoop-2.8.3
插件制作相关的环境:
ANT: apache-ant-1.9.12
hadooponwindows-master
hadoop2x-eclipse-plugin-master.zip


(一)环境准备
1.配置Java环境(不再描述)

Windows10下部署开发环境(伪分布式环境)

Windows10下部署开发环境(伪分布式环境)

Windows10下部署开发环境(伪分布式环境)






2.安装eclipse(不再描述)
3.hadoop环境配置(不再描述)

Windows10下部署开发环境(伪分布式环境)

Windows10下部署开发环境(伪分布式环境)






4.Ant环境配置
Ant的安装路径:D:\soft\ant\apache-ant-1.9.12
(二)插件制作
1.修改配置文件:libraries.properties
文件路径:D:\hadoop2x-eclipse-plugin-master\hadoop2x-eclipse-plugin-master\ivy
修改内容:
当Hadoop版本为2.8.3的时候直接用附件的替换,否则自己根据Hadoop版本的依赖包更改依赖的jar包的版本
Windows10下部署开发环境(伪分布式环境)



根据ant和Hadoop版本修改下面两个
Windows10下部署开发环境(伪分布式环境)

hadoop.version=2.8.3
hadoop-ant.version=1.9.12


2.修改build.xml文件的jar包名称
文件路径:D:\hadoop2x-eclipse-plugin-master\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin


更改内容:版本为2.8.3可以直接用附件覆盖:
Windows10下部署开发环境(伪分布式环境)

覆盖后根据自己的eclipse路径和Hadoop路径进行更改
  <property name="version" value="2.8.3"/>
  <property name="eclipse.home" value="C:/soft/eclipse"/>
  <property name="hadoop.home" value="D:/soft/hadoop/hadoop-2.8.3"/>


3.制作插件:
指令:进入编译路径:
D:\hadoop2x-eclipse-plugin-master\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin>


编译指令:D:\soft\ant\apache-ant-1.9.12\bin\ant jar
Windows10下部署开发环境(伪分布式环境)



一路没错,就有了jar插件了:
插件所在的路径:
D:\hadoop2x-eclipse-plugin-master\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin


制作的插件:Windows10下部署开发环境(伪分布式环境)


将插件放到eclipse的C:\soft\eclipse\plugins目录下重启eclipse就会有如下图标:

Windows10下部署开发环境(伪分布式环境)




(三)配置Hadoop开发环境
1.文件配置
(1)core-site.xml文件的配置
配置内容:
<property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/workspace/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/workspace/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
Windows10下部署开发环境(伪分布式环境)

tmp、name路径需要自己创建


(2)hdfs-site.xml文件的配置
<property>
<name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/workspace/hadoop/data</value>
    </property>
<property>  
<name>dfs.permissions</name>  
<value>false</value>  
<description>  
If "true", enable permission checking in HDFS.  
If "false", permission checking is turned off,  
but all other behavior is unchanged.  
Switching from one parameter value to the other does not change the mode,  
owner or group of files or directories.
</description> 
</property>  
Windows10下部署开发环境(伪分布式环境)

其中data路径需要自己创建


(3)mapred-site.xml文件的配置
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
Windows10下部署开发环境(伪分布式环境)



(4)yarn-site.xml文件的配置
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
Windows10下部署开发环境(伪分布式环境)





2.启动集群测&试集群
(1)启动集群
进入到Hadoop目录:
目录:D:\soft\hadoop\hadoop-2.8.3\bin
指令:cd D:\soft\hadoop\hadoop-2.8.3\bin

Windows10下部署开发环境(伪分布式环境)


先格式化一下文件系统:
指令:hdfs dfs namenode -format
Windows10下部署开发环境(伪分布式环境)    



由于教程是成功后几天才写的,这一步会遇到很多问题,基本都是配置的问题,就没有遇到的问题的截图了。


格式化只能格式格式化一次,需要第二次格式 化,需要将配置的tmp、name、data三个目录下的所有内容删除(个人开发环境的方法,不适用于生产环境)


启动集群:
进入sbin路径:D:\soft\hadoop\hadoop-2.8.3\sbin\
指令:cd D:\soft\hadoop\hadoop-2.8.3\sbin\
启动指令:start-all.cmd
Windows10下部署开发环境(伪分布式环境)Windows10下部署开发环境(伪分布式环境)


就愉快的当作启动成功,会有四个cmd窗口
Windows10下部署开发环境(伪分布式环境)



(2)测试集群


测试文件上传下载功能:
切换到bin目录:
指令:cd ../bin/
Windows10下部署开发环境(伪分布式环境)

新建一个目录demo1
指令:hdfs dfs -mkdir /demo1
查看是否创建成功:
指令:hdfs dfs -ls /
Windows10下部署开发环境(伪分布式环境)



上传个文件到目录demo1中:
指令:.\hdfs dfs -put hdfs.lib /demo1
查看文件是否上传成功:
指令:.\hdfs dfs -ls /demo1
Windows10下部署开发环境(伪分布式环境)



下载文件:
指令: .\hdfs dfs -get  /demo1/hdfs.lib d:/
Windows10下部署开发环境(伪分布式环境)



登陆看看呗:
地址:http://localhost:8088/cluster
Windows10下部署开发环境(伪分布式环境)



地址:http://localhost:50070
Windows10下部署开发环境(伪分布式环境)



3.Eclipse上配置
将mapreduce展示出来:
Window-->show view -->mapreduce Locations

Windows10下部署开发环境(伪分布式环境)
Windows10下部署开发环境(伪分布式环境)


配置如下填写:
Windows10下部署开发环境(伪分布式环境)

红框的两个端口号需要和配置文件一致,其他随便
点击finish出现如下:
Windows10下部署开发环境(伪分布式环境)
Windows10下部署开发环境(伪分布式环境)




就愉快的连上了,然后就是第一个测试程序了,到此window环境搭建完毕










参考资料:https://blog.****.net/familyshizhouna/article/details/78892500