Zookeeper在Hadoop集群下的安装
Zookeeper在Hadoop集群下的安装
目录
一、Hadoop集群的配置
具体步骤参考:[https://blog.csdn.net/little_sloth/article/details/106964187]()
ps:vbox环境和vmWare的安装步骤是一样的
重要!!!!复制虚拟机搭建集群时,每台复制过来的虚拟机MAC地址都需要手动重新生成,此处与vbox不一样
二、zookeeper安装及配置(集群下的虚拟机都需要)
1. 将zookeeper安装包拖入software中
2. 解压到opt目录下,并重命名为zookpr(自定义,可以不修改)
software目录下:tar -zxf zookper-3.4.6.tar.gz -C /opt/
ps:software是自己建的,可以直接拖入opt目录下解压,之后删除安装包即可
opt目录下:mv zookper-3.4.6/ zookpr
3. 配置ZooKeeper----三个都需要配置
1) 进入zoopkr目录
2)将zookpr目录中conf文件中的zoo_sample.cfg 重命名为zoo.cfg
mv conf/zoo_sample.cfg/ conf/zoo.cfg
vi conf.zoo.cfg进行配置,主要关注这几个地方
配置文件的含义:
- tickTime:CS通信心跳时间,系统默认是2000毫秒,也就是间隔两秒心跳一次。每个tickTime时间就会发送一次心跳。通过心跳不仅能够用来监听机器的工作状态,还可以通过心跳来控制Flower跟Leader的通信时间,默认情况下FL的会话时常是心跳间隔的两倍。
- maxClientCnxns:单个客户端与单台服务器之间最大节点访问限制数,设置为0代表限制
- initLimit:集群中follower服务器与leader服务器之间初始连接能容忍的最多心跳数,即进程数
- syncLimit:集群中follower服务器与leader服务器之间请求和应答时最多能容忍的心跳数
- dataDir: 该属性对应的目录是用来存放myid信息等,是zookeeper保存数据的目录,可以放在hadoop目录下
- clientPort:客户端连接Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求,默认2181。
- server.X=IP地址/主机名:A:B --- X是服务器的编号,与对应主机myid里的配置一致;A为Follower与Leader的通信端口,默认2888;B代表选举端口,默认3888
ps:dataDir 可以不修改
因为配置文件是一样的可通过拷贝的形式同步配置其他机器
此时在zoopkr目录下
scp conf/zoo.cgf [email protected]主机名:/opt/zookpr/conf/zoo.cfg
如果是拷贝过去的需要同步删除/zoo_sample.cfg文件
4. 进入hadoop目录下的zookprdata
zookprdata是自己新建的
vi myid 配置
此处设置的是1、2、3 对应主机新建zookprdata文件夹配置myid
ps:集群里的机器都需要配置修改,否则连接不会成功
三、启动Zookeeper
ps:Hadoop需要先成功启动
1. 在zookpr目录下
输入命令:./bin/zkServer.sh start
如果不在zookeeper安装目录下将bin前面的 . 换成绝对路径即可
2. 输入jps 出现 QuorumPeerMain基本连接成功
3.确认明细可通过输入 tail -f zookeeper.out查看明细,没有错误信息代表连接成功,
如果不在zookeeper安装目录下,将.out文件的绝对路径补全即可查看
4.关闭zookeeper
将启动命令的start换成stop即可