kafka——kafka-manager基本监控与运维
- kafka-manager(kafka eagle也不错),覆盖了kafka bin目录的大多数命令,可以可视化创建删除topic,查看topic列表,prefferred Replica Election 选举,partition重分配(重新分区后),消费者查询等。
- 下载链接: http://pan.baidu.com/s/1qY8sGoO 密码: ye7b 下载传到Linux解压,修改
kafka-manager.zkhosts="localhost:2181"
此行中的localhost,改为你的Zookeeper 后启动即可,默认端口9000. 参考=>https://blog.****.net/x541211190/article/details/81191608 - 应用举例
如图发现test3只有一个partition,而集群有三个broker,只利用的33%集群资源,这时需要增加partition
给topic3增加两个partition,不重启则不会往新增的partition写数据。需要使用脚本或kafka-manager进行reassign partition
如果某个broker宕机,会为该partition选举一个新的leader,如图选择broker2,这时broker2成为该topic两个partition的leader,负责两个partition的写请求,压力增大。重启broker1,发现broker2仍是master,这时需要手动执行脚本或使用kafka-manager的prefferred Replica Election 重新选举partition2的leader为broker1使负载均衡。
监控cpu 、内存、堆、线程等可视化监控:启动脚本暴露一个JMX端口export JMX_PORT=9999 ,使用jvisualvm连接即可