windows下的hadoop安装

这是我在windows下安装hadoop的过程，综合了很多文章的方法。

1.下载hadoop

下载地址：http://download.****.net/detail/kokjuis/9706480

2.安装过程

1）解压下载好的 hadoop-2.8.0.tar.gz 到某个盘***意路径里不要带空格，否则可能会无法正确识别。

2）配置hadoop环境变量（跟配置JAVA环境变量类似）。创建HADOOP_HOME，另外在Path下添加 %HADOOP_HOME%\bin

windows下的hadoop安装

3）到hadoop根目录，如果没有data文件夹的话就新建一个，然后在data下分别创建datanode、namenode两个文件夹

4）打开 \hadoop-2.8.0\etc\hadoop\hadoop-env.cmd文件，修改JAVA_HOME为jdk路径。如果你的JDK安装在Program Files目录下，名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

windows下的hadoop安装

5）下载缺少的hadoop.dll以及winutils.exe

下载这两个文件，放在hadoop下的bin目录下，并在环境变量Path和HADOOP_HOME下配置hadoop下的bin。

我的下载地址是：

https://github.com/steveloughran/winutils/ 【注意版本号】

6）上述配置后，可能需要重启。接下来，修改hadoop/etc/hadoop/core-site.xml及hdfs-site.xml文件

core-site.xml

windows下的hadoop安装

这个地址是之后访问HDFS的url。

windows下的hadoop安装

hdfs-site.xml

windows下的hadoop安装

如果没有添加permission，可能在之后连接hdfs的时候被连接拒绝。添加dfs.name.dir 和 dfs.data.dir是因为刚开始我format了太多次datanode，导致datanode一启动就挂掉了，是因为namenode的值一开始就确定了，但是对datanode进行太多次format，两者不一致，所以datanode就启动不起来，设置这两个值之后就可以了。这两个地址就是之前添加的data文件夹下的。

7）切换到etc/hadoop目录，运行hadoop-env.cmd

格式化HDFS文件系统，切换到bin目录然后执行命令：hdfs namenode -format（鉴于上述问题，这个命令还是只执行一次比较好。。）

执行hadoop version，看看hadoop是否安装成功。

3.启动及使用

进入到hadoop下的sbin目录，点击start-all.cmd，然后都启动正常就可以使用了。（JPS命令可以查看节点是否都启动了）

打开命令行，执行hdfs dfs -ls hdfs://localhost:9000/ 就可以看到这个文件系统了，然后在这里可以执行mkdir命令建新的文件夹等等。（这个localhost不一定是哪个IP地址，要看自己的HOSTS将它映射到哪个IP）

结束。。。

windows下的hadoop安装

相关推荐