HADOOP HA安装

基于hadoop伪分布式上进行HADOOP HA安装
根据表格一可以看出配置某些软件数据时，需要在不同的虚拟机上进行
表格一：
看下图可知虚拟机与软件之间是怎么运行的
图一：

注意：node02-05 是我自定的虚拟机名，你们安装的时候一定要用自己的，不要写错了。
安装步骤：
一：安装在node02上分发jdk到node03，node04，node05:
scp jdk-7u67-linux-x64.rpm node03:pwd
scp jdk-7u67-linux-x64.rpm node04:pwd
scp jdk-7u67-linux-x64.rpm node05:pwd
检验jdk是否发送成功：在Xshell全部会话栏里ll一下，看是否出现jdk。
注意：pwd 上的 `` 号是esc下面的。
二：在node03、04、05上执行rpm命令来安装jdk：
1.在node03,node04,node05上分别执行命令：rpm -i jdk-7u67-linux-x64.rpm。
2.在node02上cd /etc,在此目录下将profile文件发送到其他三个虚拟机：
scp profile node03:pwd
scp profile node04:pwd
scp profile node05:pwd
在Xshell全部会话栏里输入：source /etc/profile 保存并刷新一下。再输入jps,出现数字+Jps则表示jdk安装成功

三同步服务器时间
首先利用date命令查看时间，如果时间差太大则用yum进行时间同步器的安装：yum -y install ntp;之后执行时间同步命令，与阿里云服务器时间同步 ：ntpdate time1.aliyun.com。

四 检查配置文件
1.查看hostname是否正确 ：cat /etc/sysconfig/network
2.查看IP映射是否正确：cat /etc/hosts
3.查看selinux是否为disable:cat /etc/sysconfig/selinux
4.查看防火墙是否关闭：service inptable ststus
五 namenode与其他三台机子免**设置
1.在家目录下ll -a查看有无。ssh文件，若无则ssh localhost 一下 之后再exit一下（一定不能忘）

2. cd .ssh，再ll查看

3.把node02的公钥发给其他三台机子
scp id_dsa.pub node03:pwd/node02.pub
scp id_dsa.pub node04:pwd/node02.pub
scp id_dsa.pub node05:pwd/node02.pub

4.同理给其他节点发送公钥并在各个机子上把node02的公钥追加上:
对于node03:
scp id_dsa.pub node04:pwd/node03.pub
scp id_dsa.pub node05:pwd/node03.pub
cat node02.pub >> authorized_keys
在node02上查看是否免**成功，每次 .ssh之后不要忘了exit退出。
其他节点也要同样操作
六 两台namenode间相互免**登陆
在node03上：
ssh-****** -t dsa -P ‘’-f ~/.ssh/id_dsa
cat ~/.ssh/id dsa.pub >> ~/.ssh/authorized_keys
之后 ssh localhost验证一下(exit退出)
然后将id_dsa分发到node02：scp id_dsa.pub node02:‘pwd’/node03.pub
在node02的 .ssh 文件下：cat node03.pub >> authorized_keys
在node03上ssh node02 验证一下是否可免**登录
七 修改namenode的配置
1.vi hdfs-site.xml
(1)去掉snn的配置

(2)增加property

2.vi core-site.xml

3.vi slaves

4.安装hadoop
(1) cd /opt,将解压后的hadoop分发到node03,node04,node05:
scp –r hyp/ node03:pwd
scp –r hyp/ node04:pwd
scp –r hyp/ node05:pwd
(2将hdfs-site.xml和core-site.xml分发到node03,node04,node5:
scp hdfs-site.xml core-site.xml node03:pwd
scp hdfs-site.xml core-site.xml node04:pwd
scp hdfs-site.xml core-site.xml node05:pwd
八 安装zookeeper
1.上传安装包，解压安装zookeeper:tar xf zookeeper-3.4.6.tar.gz -C /opt/djm
2.修改zookeepe的配置文件：cd /opt/hyp/zookeeper-3.4.6/conf
给zoo_sanple.cfg改名：cp zoo_sample.cfg zoo.cfg
然后vi zoo.cfg 改dataDir=/var/djm/zk,并在末尾加 ：
server.1=node03:2888:3888
server.1=node04:2888:3888
server.1=node05:2888:3888
其中2888主从通信端口，3888是当主机挂断后进行选举机制的端口
3.把zookeeper分发到其他机子
scp -r zookeeper-3.4.6/ node04:pwd
scp -r zookeeper-3.4.6/ node04:pwd
ll一下，检查是否分发成功 ：ll /opt/djm
4.给每台机子创建刚配置文件里的路径：mkdir -p /var/djm/zk
对node04来说：
echo 1 > /var/djm/zk/myid
cat /var/djm/zk/myid
对node05来说：
echo 2 > /var/djm/zk/myid
cat /var/djm/zk/myid
对node06来说：
echo 3 > /var/djm/zk/myid
cat /var/djm/zk/myid
(给每台机子配置编号 必须是阿拉伯数字)
5.在vi /etc/profile中配置信息
export ZOOKEEPER_HOME=/opt/ldy/zookeeper-3.4.6
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$PATH:/usr/java/jdk1.7.06​7/bin:HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOPH​OME/sbin:ZOOKEEPER_HOME/bin
6.然后把/etc/profile分发到node04和node5上：
scp /etc/profile node04:/etc
scp /etc/profile node05:/etc
在node03、04、05里source /etc/profie，这步千万别忘
7.启动zookeepe
全部会话：zkServer.sh start
用zkServer.sh status查看每个zookeeper节点的状态
注意：如果启动不起来，请把/etc/profile里的JAVA_HOME改成绝对路径。
九 启动journalnod
在node02,node03,node04上分别把journalnod启动起来：
hadoop-daemon.sh start journalnode
用 jps 检查是否启动
十 格式化
1.格式化任一namenoe
随意挑一台namenode上执行:hdfs namenode –format。另一台namenode不用执行，否则clusterID变了，找不到集群了

2.启动格式化后的namenode
hadoop-daemon.sh start namenode
3.与另一台namenode同步数据
hdfs namenode -bootstrapStandby

十一 格式化zkfc
在node02中：hdfs zkfc -formatZK

在node03上执行zkCli.sh打开zookeeper客户端看hadoop-ha是否打开

十二 启动集群
在node2中：start-dfs.sh
注意：如果那个节点没起来到hadoop目录下去看那个node的日志文件log
然后在全部会话中：jps
node2:
node03:
node04:
node05:用浏览器访问集群：


关闭集群：stop-dfs.sh
关闭zookeeper:zkServer.sh stop
十三 为Mapreduce做准备
在node02下：
1.把mapred-site.xml.template留个备份，并且改下名字：
cp mapred-site.xml.template mapred-site.xml

2.在mapred-site.xml里添加如下property：
vi mapred-site.xml

3.在yarn-site.xml里添加如下property：
vi yarn-site.xml


4.把mapred-site.xml和yarn-site.xml 分发到node03、node04、node05
scp mapred-site.xml yarn-site.xml node03:pwd
scp mapred-site.xml yarn-site.xml node04:pwd
scp mapred-site.xml yarn-site.xml node05:pwd
5.node04和node05相互免**
node04上免**登录node05：
在node04的.ssh目录下生成**:ssh-****** -t dsa -P ‘’ -f ./id_dsa
并追加到自己authorized_keys:cat id_dsa.pub >> authorized_keys
将node04 的公钥分发到node05:scp id_dsa.pub node05:pwd/node04.pub
在node05的.ssh目录下，追加node04.pub:cat node04.pub >> authorized_keys
node05同理
6.启动
1）启动zookeeper，全部会话：zkServer.sh start
2）在node03上启动hdfs：start-dfs.sh
3）在node03上启动yarn：start-yarn.sh
4）在node05、06上分别启动resourcemanager：yarn-daemon.sh start resourcemanager
5）全部会话jps，看进程全不全
node02
node03
node04
node05
浏览器访问node05:8088查看resourcemanager管理的内容:

最后就是关闭各项任务：
关闭zokeeper:全部会话输入：zkServer.sh stop
node02: stop-dfs.sh
nde02: stop-yarn.sh
nonode04和node05：yarn-daemon.sh stop resourcemanager
十四 总结
安装hadoop最重要的就是有耐性，要注意单词的拼写以及空格，遇到问题就将提示错误复制到百度，大多数都能解决
在更改一些.xml文件后，要source /etc/profile
在.ssh localhost之后一定要 exit 退出
进行格式化时，尽量一次就弄好。