软件版本

zookeeper：3.4.13
kafka：2.12-2.4.1

部署规划

hcmaster	hcslave1	hcslave2
zk	zk	zk
kafka	kafka	kafka

具体搭建

第一步：在hcmaster上，下载kafka_2.12-2.4.1，解压到/usr/local目录，同时修改拥有者为hc

第二步：在/etc/profile中添加环境变量

第三步：在/usr/local/kafka_2.12-2.4.1下创建文件夹logs

第四步：修改/usr/local/kafka_2.12-2.4.1/server.properties



第五步：分发/usr/local/kafka_2.12-2.4.1到hcslave1和hcslave2，修改拥有者同时设置环境变量。

第六步：在hcslave1中修改/usr/local/kafka_2.12-2.4.1/server.properties

第七步：在hcslave1中修改/usr/local/kafka_2.12-2.4.1/server.properties

启动集群

依次在三个机器上启动zookeeper

命令：zkServer.sh start

依次在三个机器上启动kafka

命令：kafka-server-start.sh config/server.properties

查看进程：

关闭kafka集群

依次在三个机器上执行命令：

命令：kafka-server-stop.sh stop

注意：启动关闭kafka和zookeeper的顺序，先启动zookeeper再启动kafka，先停止kafka再停止zookeeper

常用命令

创建topic

命令：kafka-topics.sh --create --zookeeper hcmaster:2181 --partitions 2 --replication-factor 2 --topic first

查看topic列表

命令：kafka-topics.sh --list --zookeeper hcmaster:2181

查看topic详情

命令：kafka-topics.sh --zookeeper hcmaster:2181 --describe --topic first

使用kafka-console-rpoducer.sh发送消息

命令：kafka-console-producer.sh --broker-list hcmaster:9092 --topic first

使用kafka-console-consumer.sh接收消息并在终端打印：

命令：kafka-console-consumer.sh --bootstrap-server hcmaster:9092 --from-beginning --topic first

–from-beginning：会把first主题中之前所有的数据都读取出来。可根据业务场景选择是否增加该配置。

删除topic