【大数据高频问题】之Kafka
- 创建多少个Topic 取决于满足多少个消费者
- 磁盘空间设置多少合适呢(默认保存7天,每天数据量100G,2*100*7/0.7)
- Kafka ISR,解决了什么问题,(延迟时间,在规定范围内)
- Kafka 监控,
- Kafka 里有多少分区 (3-10),分区多少有什么影响,会影响并发
- Kafka 分区分配策略
- Kafka 丢失数据,ACK, ack=0 (数据发送不等待应答),ack=1(取决于Leader),ack=-1(Leader 和Flower 同时应答)
- Kafka 数据重复,大量数据积压,提高消费能力
- 数据重复
- Kafka 参数优化:
- Broker 优化
- Producer 优化
- Consumer 优化
- Kafka 内存调整 (默认1G)(Kafka-server-start.sh)(不能超过6G)
- Kafka 中数据量大小
- Broker 优化