复杂数据\消息的kafka消息格式

Question

我们在我们的系统中使用kafka进行流处理。输入数据\消息的结构非常复杂。所以如何定义输入消息的结构。这是输入数据\消息的最合适的结构和序列化机制。

Answer 1

您可以使用下面的序列化器来序列化您的输入消息。

1. Apache commons lang3 serializer - 最简单的实现
2. Kryo Serialization - 快速，高效的串行
3. Avro Serialization - 支持架构演变随着时间的推移注册表

我会建议你实现KRYO serailizer。