如果一个消费者群体订阅了多个主题分区,kafka如何决定首先阅读哪个分区?
问题描述:
我正在尝试构建一个可以通过kafka主题读取的应用程序,但我需要它具有“查看上一个”按钮。我知道如何通过特定的分区来查找,但是是否有可能按照读入的顺序来回读主题中的所有消息?我正在使用Java KafkaConsumer。如果一个消费者群体订阅了多个主题分区,kafka如何决定首先阅读哪个分区?
答
偏移量是每个分区,不同分区间的消息之间没有排序。由于kafka不知道消费者从不同分区读取消息的顺序(不同分区可能从不同分区中的不同分区读取),所以您无法按照读取顺序回顾主题中的所有消息。簇)。但是,您可以做的是在读取消息时,在应用程序中进行缓冲处理,这样可以让您返回到缓冲区的容量。