极客时间 Kafka核心技术与实战 学习笔记03

16 | 揭开神秘的“位移主题”面纱

Kafka 中神秘的内部主题(Internal Topic)__consumer_offsets。

但是,ZooKeeper 其实并不适用于这种高频的写操作,因此,Kafka 社区自 0.8.2.x 版本开始,就在酝酿修改这种设计,并最终在新版本 Consumer 中正式推出了全新的位移管理机制,自然也包括这个新的位移主题

极客时间 Kafka核心技术与实战 学习笔记03

   我们现在知道 Key 中保存了 Group ID,但是只保存 Group ID 就可以了吗?别忘了,Consumer 提交位移是在分区层面上进行的,即它提交的是某个或某些分区的位移,那么很显然,Key 中还应该保存 Consumer 要提交位移的分区

位移主题的 Key 中应该保存 3 部分内容:<Group ID,主题名,分区号 >

极客时间 Kafka核心技术与实战 学习笔记03

极客时间 Kafka核心技术与实战 学习笔记03

极客时间 Kafka核心技术与实战 学习笔记03

17 | 消费者组重平衡能避免吗?