Kafka Manager部署及使用

配置Java环境变量

[[email protected] profile.d]# pwd
/etc/profile.d
[[email protected] profile.d]# cat java.sh 
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

执行如下命令使环境变量生效并查看java版本

[[email protected] ~]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

下载kafka-manager源码
命令行使用git命令将kafka-manager的源码下载到本地
```
[[email protected]  ~]# git clone https://github.com/yahoo/kafka-manager.git
```
编译kafka-manager
```
[[email protected]  ~]# cd kafka-manager/
[[email protected]  kafka-manager]# ./sbt clean dist
```
注：若出现sbt的错误，可能是没有安装sbt 。yum install -y sbt
在编译的过程中，日志中有warn可以，但不要有error。有错误则检查解决。

编译需要耗费大量的时间，需要耐心等待。

编译完成后，找到编译好的压缩包kafka-manager-1.3.3.22.zip

[[email protected] universal]# pwd
/root/soft/kafka-manager/target/universal
[[email protected] universal]# ll
total 82444
-rw-r--r-- 1 root root 84416362 Feb 28 13:31 kafka-manager-1.3.3.22.zip
drwxr-xr-x 3 root root     4096 Feb 28 13:31 scripts

部署Kafka-Manager
将上述编译好的zip压缩包，拷贝至/opt/cloudera目录下并解压

[[email protected] universal]# cp kafka-manager-1.3.3.22.zip /opt/cloudera/
[[email protected]]# cd /opt/cloudera/
[[email protected]]# unzip kafka-manager-1.3.3.22.zip

若提示没有unzip命令，安装一下：yum install -y unzip

修改application.conf配置

[[email protected] conf]# pwd
/opt/cloudera/kafka-manager-1.3.3.22/conf
[[email protected] conf]# ll
total 24
-rw-r--r-- 1 root root 2650 Feb 28 15:00 application.conf       (修改此文件)
-rw-r--r-- 1 root root  184 Feb 28 12:43 consumer.properties
-rw-r--r-- 1 root root 2108 Feb 28 12:43 logback.xml
-rw-r--r-- 1 root root 1367 Feb 28 12:43 logger.xml
-rw-r--r-- 1 root root 7423 Feb 28 12:43 routes

修改如下配置：

zoopkeeper地址
用户名
密码

kafka-manager.zkhosts="node00:2181,node01:2181,node02:2181"        # zoopkeeper地址 
kafka-manager.zkhosts=${?ZK_HOSTS}
...
basicAuthentication.username="admin"                                # 用户名 
basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
basicAuthentication.password="123456"                                # 密码
basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}

启动Kafka-Manager

Kafka-Manager启动默认端口号为9000，可以通过-Dhttp.port来指定端口号

[[email protected] kafka-manager-1.3.3.22]# nohup bin/kafka-manager -Dhttp.port=8090 > nohup.out 2>&1 &

监听8090端口

[[email protected] universal]# netstat -apn | grep 8090
tcp6       0      0 :::8090                 :::*                    LISTEN      16508/java          
[[email protected] universal]#

访问登录http://172.16.10.190:8090

停止Kafka-Manager

 # 查看进程号
[[email protected] kafka-manager-1.3.3.22]# cat RUNNING_PID 
16508
# 杀死进程
[[email protected] kafka-manager-1.3.3.22]# kill -9 16508
# 删除RUNNING_PID 文件
[[email protected] kafka-manager-1.3.3.22]# rm -rf RUNNING_PID

Kafka-Manager使用
1. 点击Cluster菜单，添加一个Kafka集群
2. 输入Kafka集群的相关信息查看kafka版本 (2.11是Scala 的版本，1.0.1才是kafka的版本)
```
[[email protected] kafka]# pwd
/opt/cloudera/parcels/KAFKA/lib/kafka
[[email protected] kafka]# find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
kafka_2.11-1.0.1-kafka-3.1.0-SNAPSHOT.jar
```
  根据自己当前Kafka集群的环境进行相应的配置，点击“Save”完成集群添加
3. 点击“Kafka-CDH”连接，进入Kafka集群的详细界面，下图为Kafka的统计信息

Kafka Manager部署及使用

相关推荐