centos6.5下Hadoop集群环境配置
一：配置主节点Master
1：下载并解压安装包
首先将压缩包移至mark用户的主目录下，然后执行下述命令对其进行解压
mv hadoop-2.5.2.tar.gz /home/mark
tar -xvf hadoop-2.5.2.tar.gz
cd hadoop-2.5.2
解压后在当前目录下生成hadoop-2.5.2文件夹
2：配置hadoop-env.sh
打开hadoop-env.sh,配置JDK路径
vim /home/mark/hadoop-2.5.2/etc/hadoop/hadoop-env.sh
将 export JAVA_HOME=${JAVA_HOME}
修改为 export JAVA_HOME=/usr/java/jdk1.7.0_71/ （根据实际Java安装路径进行设置）
3：配置yarn-env.sh
打开yarn-env.sh，配置JDK的路径
vim etc/hadoop/yarn-env.sh
将 export JAVA_HOME=/home/y/libexec/jdk1.6.0/
修改为 export JAVA_HOME=/usr/java/jdk1.7.0_71/
4：创建数据目录hadoopdata
分别在master、slave1、slave2上切换至mark用户，然后在主目录下创建数据目录hadoopdata
mkdir /home/mark/hadoopdata
5：配置core-site.xml （以下配置都是在cd hadoop-2.5.2前提下完成）
打开core-site.xml文件
vim etc/hadoop/core-site.xml
用以下代码覆盖core-site.xml文件中的内容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/mark/hadoopdata</value>
</property>
</configuration>
6：配置hdfs-site.xml
打开hdfs-site.xml文件
vim etc/hadoop/hdfs-site.xml
用下面代码替换hdfs-site.xml文件中的内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
7：配置yarn-site.xml
打开yarn-site.xml文件
vim etc/hadoop/yarn-site.xml
用下面代码替换yarn-site.xml文件中的内容
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>
8：配置mapred-site.xml
复制/home/mark/hadoop-2.5.2/etc/hadoop目录下的mapred-site.xml.template文件，另存为该目录下的mapred-site.xml
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
打开mapred-site.xml
vim etc/hadoop/mapred-site.xml
用下面的代码覆盖mapred-site.xml中的内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
9：配置slaves文件
打开slaves文件
vim etc/hadoop/slaves
用下面代码替换slaves中的内容(此处既可给出两个节点的IP地址，也可给出机器名，但要求各自独占一行)
slave1
slave2
二：配置从节点
将master节点的mark用户主目录下的hadoop-2.5.2文件夹分别复制至每个节点的mark用户目录下
scp -r hadoop-2.5.2 slave1:~/
scp -r hadoop-2.5.2 slave2:~/
三：配置系统文件
分别在master、slave1、slave2上以mark用户执行以下步骤
1：配置系统文件
vim ~/.bash_profile
2：配置以下环境变量
export HADOOP_HOME=/home/mark/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3：使配置生效
source .bash_profile
四：启动Hadoop集群
1：格式化文件系统
在master节点上执行下面的格式化命令
hdfs namenode -format
2：启动Hadoop
cd ~/hadoop-2.5.2
sbin/start-all.sh
3：验证
master的终端窗口执行jps命令后会出现4个进程，slave1、slave2会有3个进程
同时也可以通过Web UI查看集群是否成功启动，在master上启动Firefox浏览器，在浏览器输入http://master:50070/，检查NameNode和DataNode是否正常启动
在master启动Firefox浏览器，在地址栏输入http://master:18088/,检查Yarn是否正常启动