CentOS6.5环境下hadoop-3.0.3的搭建
因为工作的需要，今天自己在虚拟机上尝试搭建了Hadoop，捣腾了一下午好不容易搭建完成），记录一下。
有个前辈写的hadoop安装博客，我觉得写得很详细，对我帮助也很大：http://www.cnblogs.com/zhengna/p/9316424.html
一、hadoop下载
下载地址：http://hadoop.apache.org/releases.html
我选择的是3.0.3版本
二、安装环境
centos6.5、jdk1.8
三、安装步骤
1、安装包下载后，将安装包传到linux上，通过secureCRT的SFTP session 执行指令
put C:\Users\username\Downloads\hadoop-3.0.3.tar.gz
2、将安装包解压到指定文件
tar -xzvf hadoop-3.0.3.tar.gz -C app/hadoop/
3、修改配置文件，涉及的文件是/hadoop-3.0.3/etc/hadoop/目录下的hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml以及/etc/profile
3.1 vi hadoop-env.sh
在文件末尾添加：export JAVA_HOME=/home/itcast-1110/app/jdk1.8.0_161/ 具体的路径要以自己系统上jdk的安装路径为准
3.2 vi core-site.xml
在configuration标签内添加以下内容：
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/temp/</value>
</property>
3.3 vi hdfs-site.xml
在configuration标签内添加以下内容：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
这里重点要提的是dfs.http.address这个属性，我查到的很多安装教程是没有这个属性的配置，但我这里的加了这段之后浏览器才可以访问hadoop的服务，至于原因，我现在也不是很清楚。
3.4 vi mapred-site.xml
在configuration标签内添加以下内容：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.5 vi yarn-site.xml
这个配置文件刚开始没加入yarn.resourcemanager.webapp.address，RM的管理界面一直无法访问（就是8088端口哪个），后来查了几个地方说是要配上这个属性，这是参考的文章之一：http://flyeagle.iteye.com/blog/2192302
3.6 vi /etc/profile
在文件末尾加入：
export HADOOP_HOME=/home/itcast-1110/app/hadoop/hadoop-3.0.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
四、启动Hadoop
1.格式化HDFS
切换到hadoop的bin目录，执行./hadoop namenode -format
如果遇过询问yes or no 的输入Y即可
2、启动hadoop进程
切换到hadoop的sbin目录下，执行./start-all.sh
这里我看别人的博客好像如果还没有配ssh免密登录，会一直要求输入信息，我可能是因为实现已经配置过了，所以这里并没有要求我做额外的操作，ssh免密登录配置，我现在记忆迷糊了。。。啊啊啊啊还是要边学习边记录啊
3、关闭防火墙，root帐号登录时执行service iptables stop
4、打开本地环境的浏览器，输入http://ip:50070（ip是安装hadoop的ip），即可访问HDFS的管理界面啦
MR的界面，端口号8088
至此，hadoop的安装就先告一段落啦，泪奔，捣腾一下午到大晚上，动手能力还是差了