kafka——kafka-manager基本监控与运维

 

  • kafka-manager(kafka eagle也不错),覆盖了kafka bin目录的大多数命令,可以可视化创建删除topic,查看topic列表,prefferred Replica Election  选举,partition重分配(重新分区后),消费者查询等。
  • 下载链接: http://pan.baidu.com/s/1qY8sGoO 密码: ye7b 下载传到Linux解压,修改kafka-manager.zkhosts="localhost:2181"此行中的localhost,改为你的Zookeeper 后启动即可,默认端口9000. 参考=>https://blog.****.net/x541211190/article/details/81191608
  • 应用举例

如图发现test3只有一个partition,而集群有三个broker,只利用的33%集群资源,这时需要增加partition

kafka——kafka-manager基本监控与运维

给topic3增加两个partition,不重启则不会往新增的partition写数据。需要使用脚本或kafka-manager进行reassign partition

kafka——kafka-manager基本监控与运维

kafka——kafka-manager基本监控与运维

如果某个broker宕机,会为该partition选举一个新的leader,如图选择broker2,这时broker2成为该topic两个partition的leader,负责两个partition的写请求,压力增大。重启broker1,发现broker2仍是master,这时需要手动执行脚本或使用kafka-manager的prefferred Replica Election  重新选举partition2的leader为broker1使负载均衡。

kafka——kafka-manager基本监控与运维

监控cpu 、内存、堆、线程等可视化监控:启动脚本暴露一个JMX端口export JMX_PORT=9999 ,使用jvisualvm连接即可