Zookeeper环境的搭建
Zookeeper搭建
概述
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
(下载最新稳定版的Zookeeper mirror.bit.edu.cn/apache/zookeeper/stable/)
1. 将下载好的Zookeeper解压到/usr/local目录下
2. 修改权限 sudo chown -R user:user zookeeper-3.4.12/
3. 进入zookeeper下的conf目录将zoo.sample .cfg的配置文件命名为zoo.cfg,修改如下:
4. 进入bin目录,启动zookeeper
./bin/zkServer.sh start
5.查看进程
其中,QuorumPeerMain是Zookeeper进程,启动正常(HMaster和HRegionServer为已启动的HBase进程,其他为安装Hadoop后启动的进程)。
6.启动客户脚本zkCli.sh
7. 停止zookeeper进程
二zookeeper基于伪分布上的搭建
1. 重命名
2. 使用vim编辑zoo1.cfg zoo2.cfg zoo3.cfg这三个配置文件
(其中server1/data是自己手动创建的)
配置说明
· tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
· initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
· syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10秒
· dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
· clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
· server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。
使用vim修改zoo2.cfg的dataDir=/home/jianjian/zookeeper/server2/data,clientPort=2182,修改zoo3.cfg的dataDir=/home/jianjian/zookeeper/server3/data,clientPort=2183。dataDir目录开始不存在,需要手动创建,并在各data文件下创建名为myid的文件,文件内容对应服务器编号
3. 启动