Kafka Linux环境搭建

Kafka Linux环境搭建

一: 安装JDK1.8
二: 安装Zookeeper
三: 安装Kafka
四: 先启动Zookeeper再启动Kafka
五: 创建主题,生产者,消费者

一: 安装JDK1.8
1:下载jdk压缩包,使用xftp工具放到Linux中,然后解压

在Linux中进入目录,解压jdk包
cd /usr/local/jdk8
tar -zxvf jdk-8u144-Linux-i586.tar.gz cd

解压完:

cd jdk1.8.0_144,pwd得到路径: /usr/local/jdk8/jdk1.8.0_144

配置环境变量:
vi /etc/profile

在最后位置加上:
export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_144
export PATH=$PATH:$PATH:JAVA_HOME/bin

输入java -version检验时候安装ok:
报错:
-bash: /usr/local/jdk8/jdk1.8.0_144/bin/java: /lib/ld-Linux.so.2: bad ELF interpreter: 没有那个文件或目录

换成jdk-8u144-Linux-x64.tar.gz就行了，原因是安装包和Linux版本不匹配

重新解压安装,配置保持不变,输入java -version,如下,安装jdk成功:

二:安装Zookeeper
把zookeeper安装包放到/usr/local/zookeeper目录,解压

tar -zxvf zookeeper-3.4.11.tar.gz

Ls:

查看zookeeper的配置文件cd /usr/local/zookeeper/zookeeper-3.4.11/conf/

打开配置文件: vi zoo_sample.cfg ,端口为2181

三:安装Kafka
把Kafka安装包放到/usr/local/zookeeper目录,解压

Ls:

修改server.properties配置文件的内容，主要更改参数为：
cd /usr/local/kafka/kafka_2.12-1.1.0/config/server.properties
vi server.properties

服务器唯一标识符:broker.id=0

放开# listeners=PLAINTEXT://:9092

Zookeeper端口为2181

Esc :wq保存退出
启动zookeeper: ./zkServer.sh start
报错:
Caused by: java.lang.IllegalArgumentException: /usr/local/zookeeper/zookeeper-3.4.11/bin/…/conf/zoo.cfg file is missing

因为默认加载 conf中的zoo.cfg文件,所以要把 zoo_sample.cfg 拷贝一份命名为zoo.cfg

启动zookeeper

查看状态:netstat -anop | grep 2181, 启动成功:

启动kafka:
报错,写法不对:

正确:
先进入目录: cd /usr/local/kafka/kafka_2.12-1.1.0


再启动:
bin/kafka-server-start.sh config/server.properties &

完成

在xshell软件复制一个窗口:

进入目录:cd /usr/local/kafka/kafka_2.12-1.1.0

创建一个主题:
bin/kafka-topics.sh --list --zookeeper localhost:2181 test
查看创建的主题:
bin/kafka-cons

生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

在xshell软件复制一个窗口:

进入目录:
cd /usr/local/kafka/kafka_2.12-1.1.0

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
消费者: