Kafka(3)——第二章:Kafka配置的相关参数之broker配置
Kafka 配置分为:broker、producer、consumer 三个不同的配置。
一、broker 配置
要把一个 broker 加入到系群里,只需要修改两个配置参数。
-
首先,所有 broker 都必须配置相同的 zookeeper.connect,该参数指定了用于保存数据的ZK群组和路径。
-
其次,每个 broker 都必须为broker.id 参数设置唯一的值。
- 如果两个 broker 使用相同的broker.id,那么第二个 broker 就无法启动。在运行集群时,还可以配置其他一些参数。
-
broker.id=0
-
num.network.threads=3
-
num.io.threads=8
-
socket.send.buffer.bytes=102400
-
socket.receive.buffer.bytes=102400
-
socket.request.max.bytes=104857600
-
log.dirs=/tmp/kafka-logs
-
num.partitions=1
-
num.recovery.threads.per.data.dir=1
-
offsets.topic.replication.factor=1
-
transaction.state.log.replication.factor=1
-
transaction.state.log.min.isr=1
-
log.retention.hours=168
-
log.segment.bytes=1073741824
-
log.retention.check.interval.ms=300000
-
zookeeper.connect=localhost:2181
-
zookeeper.connection.timeout.ms=6000
-
group.initial.rebalance.delay.ms=0
四、Kafka 集群简介
单个 Kafka 服务器足以满足本地开发的要求,不过集群也有它的强大之处。使用集群最大的好处是可以跨服务器进行负载均衡,再则就是使用复制功能来避免因单点故障造成的数据丢失。在维护Kafka 或者底层系统时,使用集群可以确保为客户端提供高可用性。