从零开始学习--kafka集群搭建的 两种方式

目录（第一种常规版，第二种bitnami版） 

一、下载kafka安装包

二、安装

三、配置

四、运行

 

一、下载kafka安装包

 准备好kafka安装包，官网下载地址： http://kafka.apache.org/downloads.html    下载最新的安装包；

 

二、安装

 注意：

（1）Kafka的安装需要java环境，cent os 7自带java1.6版本，可以不用重新安装，直接使用自带的jdk 即可；如果觉得jdk版本太旧，也可以自己重新安装；

（2）以前的kafka还需要zookeeper，新版的kafka已经内置了一个zookeeper环境，所以我们可以直接使用安装；

 

将下载好的安装包 解压后

第一个箭头指向的是kafka配置文件，

第二个箭头指向的是zk的配置文件；

三、配置

先建立zk集群，直接使用kafka自带的zookeeper建立zk集群，修改zookeeper.properties文件：

三个机器上的zookeeper.properties文件配置相同，需要注意的是日志保存的路径，不会自动生成，需要自己手动建立相关的路径， dataLogDir是我自己加的，日志文件太多，把日志文件区分开；

7、 创建myid文件，进入/usr/local/kafka/zookeeper，创建myid文件，将三个服务器上的myid文件分别写入1，2，3，如图：

 
—-myid是zk集群用来发现彼此的标识，必须创建，且不能相同；

8、 进入kafka目录 执行启动zookeeper命令： 
./bin/zookeeper-server-start.sh config/zookeeper.properties & 
三台机器都执行启动命令，查看zookeeper的日志文件，没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群，修改server.properties配置文件： 

server.properties配置文件的修改主要在开头和结尾，中间保持默认配置即可；需要注意的点是broker.id的值三个节点要配置不同的值，分别配置为0，1，2；log.dirs必须保证目录存在，不会根据配置文件自动生成；

 

四、运行

 启动kafka集群，进入kafka目录，执行如下命令 ： 
./bin/kafka-server-start.sh –daemon config/server.properties & 
三个节点均要启动；启动无报错，即搭建成功，可以生产和消费消息，来检测是否搭建成功。
 

概括：

 

1 - 解压kafka程序包
tar zxf kafka_2.12.0.11.0.0.tgz

2 - 编辑配置
vi [kafka]/config/server.properties
修改broker.id，各节点不同即可
broker.id=0
修改
zookeeper.connect=zookeeper的节点ip
如：zookeeper.connect=198.218.35.24:2181,198.218.35.25:2181,198.218.35.26:2181
添加
host.name=节点ip
advertised.host.name=节点对外能访问的ip

3 - 拷贝程序包到各节点（记得修改各节点的broker.id）

4 - 启动各节点kafka
[kafka]/bin/kafka-server-start.sh [kafka]/config/server.properties