Kafka篇

1.什么是kafka
Apache kafka是消息中间件的一种,这边就先简单的解释一下什么是消息中间件,简单的举个例子。生产者和消费者,生产者发出消息过来,消费者把消息接收处理掉,中间按一条一条消息处理。如果消费者收到消息处理消息慢了或者出问题卡住了,那就无法再去接受新发送来的消息了,导致生产者的消息丢失。这时候就需要就需要一个中间件去承载生产者生产的消息了,无论消费者消费快慢或者卡住,都不会对生产者产生影响。这个中间件就是kafka,当内存满的时候,还可以支持kafka的扩容。

2.kafka一些名词解释

  • producer:生产者,即不断生产消息的。
  • consumer:消费者,即不断消费消息的。
  • topic:为了区分不同类型的消息,给消息加上的不同“标签”用以区分处理。
  • broker:承载消息的“地方”。

3.kafka命令大全

  • 查询存在哪些主题:bin/kafka-topics.sh –list –zookeeper localhost:2181

  • 查询当前服务器上主题描述:bin/kafka-topics.sh –describe –zookeeper localhost:2181
    Kafka篇

  • 消费者:bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test
    Kafka篇

  • 启动zookeeper:bin/zookeeper-server-start.sh -daemon config/zookeeper.properties(-daemon 表示后台运行,具体可参考相关linux命令)

  • 启动kafka:bin/kafka-server-start.sh -daemon config/server.properties(-daemon 同上)

  • 查看consumer组内消费的offset:bin/kafka-consumer-offset-checker.sh –zookeeper localhost:2181 –group group1 –topic group1