Windows下配置Hadoop环境（全过程）

1、首先到官方下载官网的hadoop2.7.7,链接如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

2、下载对应版本都是hadooponwindows-master.zip

 下载网址：https://github.com/4ttty/winutils

或者找网盘的hadooponwindows-master.zip

链接如下：https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw

提取码：y9a4

1. 把hadoop-2.7.7.tar.gz解压后，使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
2. 配置JAVA_HOME
3. 

 

注意：
　　安装JDK时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。

1. 配置HADOOP_HOME

 

path添加%HADOOP_HOME%\bin（win10不用分号或者如下编辑界面不用分号，其余加上 ；）

转存失败重新上传取消

 

6、配置hadoop-env.cmd

注意其中PROGRA~1代表Program Files,解决jdk的安装路径空格问题（中间有个空格）

或加引号“C:\Program Files”\Java\jdk1.8.0_181(在有空格的部分加引号)

转存失败重新上传取消转存失败重新上传取消

7、配置hdfs-site.xml

在E:\Hadoop-2.7.7目录下 添加tmp文件夹
在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode，datanode子文件夹

<configuration>  <!-- 这个参数设置为1，因为是单机版hadoop -->  <property>  <name>dfs.replication</name> <value>1</value> </property>  <property>  <name>dfs.permissions</name>         <value>false</value> </property>  <property>  <name>dfs.namenode.name.dir</name>  <value>F:/hadoop/data/namenode</value>  </property>  <property>         <name>dfs.datanode.data.dir</name>  <value>F:/hadoop/data/datanode</value>  </property>   <property>  <name>fs.checkpoint.dir</name>  <value>F:/hadoop/data/snn</value>  </property>  <property>  <name>fs.checkpoint.edits.dir</name>  <value>F:/hadoop/data/snn</value>  </property>  </configuration>

9、配置mapred-site.xml

<configuration>  <property>  <name>mapreduce.framework.name</name>  <value>yarn</value> </property>  </configuration>

10、配置yarn-site.xml

<configuration>  <property>  <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property>  <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hahoop.mapred.ShuffleHandler</value>  </property>  </configuration>

11、配置core-site.xml

<configuration>  <property>  <name>fs.defaultFS</name>  <value>hdfs://localhost:9000</value>  </property>  </configuration>

 

12 把hadoop.dll和winutils.exe拷贝到 C:\Windows\System32

 

 

转存失败重新上传取消转存失败重新上传取消

转存失败重新上传取消转存失败重新上传取消

 

13share\hadoop\yarn\timelineservice

下面的hadoop-yarn-server-timelineservice-2.9.2.jar

复制到share\hadoop\yarn\lib下即可

14.cmd进入E:/Hadoop2.7.7/hadoop2.7.7/bin目录，输入hdfs namenode -format 格式化hdfs，看到seccessfully就说明format成功

转存失败重新上传取消转存失败重新上传取消

15、转到Hadoop-2.7.3\sbin文件下

 

转存失败重新上传取消转存失败重新上传取消

 

16输入start-all，启动hadoop集群

17

1. 启动hadoop集群成会出现下面四个窗口namenode. Datanode

Nodemanager resourceManager

转存失败重新上传取消转存失败重新上传取消

转存失败重新上传取消转存失败重新上传取消

转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消18

1. 输入jps  可以查看运行的所有节点

转存失败重新上传取消转存失败重新上传取消

 

19访问http://localhost:8088,访问yarn的web界面，有就表明已经成功

转存失败重新上传取消转存失败重新上传取消

1. 访问http://localhost:50070,访问hadoop的web界面

转存失败重新上传取消转存失败重新上传取消