Kafka(3)——第二章:Kafka配置的相关参数之broker配置

Kafka 配置分为:broker、producer、consumer 三个不同的配置。

一、broker 配置

要把一个 broker 加入到系群里,只需要修改两个配置参数。

  • 首先,所有 broker 都必须配置相同的 zookeeper.connect,该参数指定了用于保存数据的ZK群组和路径。

  • 其次,每个 broker 都必须为broker.id 参数设置唯一的值。

    • 如果两个 broker 使用相同的broker.id,那么第二个 broker 就无法启动。在运行集群时,还可以配置其他一些参数。
  • broker.id=0

  • num.network.threads=3

  • num.io.threads=8

  • socket.send.buffer.bytes=102400

  • socket.receive.buffer.bytes=102400

  • socket.request.max.bytes=104857600

  • log.dirs=/tmp/kafka-logs

  • num.partitions=1

  • num.recovery.threads.per.data.dir=1

  • offsets.topic.replication.factor=1

  • transaction.state.log.replication.factor=1

  • transaction.state.log.min.isr=1

  • log.retention.hours=168

  • log.segment.bytes=1073741824

  • log.retention.check.interval.ms=300000

  • zookeeper.connect=localhost:2181

  • zookeeper.connection.timeout.ms=6000

  • group.initial.rebalance.delay.ms=0

Kafka(3)——第二章:Kafka配置的相关参数之broker配置

Kafka(3)——第二章:Kafka配置的相关参数之broker配置
Kafka(3)——第二章:Kafka配置的相关参数之broker配置
Kafka(3)——第二章:Kafka配置的相关参数之broker配置
Kafka(3)——第二章:Kafka配置的相关参数之broker配置

四、Kafka 集群简介

单个 Kafka 服务器足以满足本地开发的要求,不过集群也有它的强大之处。使用集群最大的好处是可以跨服务器进行负载均衡,再则就是使用复制功能来避免因单点故障造成的数据丢失。在维护Kafka 或者底层系统时,使用集群可以确保为客户端提供高可用性。