Spring批处理:从Kafka读取数据并写入文件
问题描述:
我是Spring批处理新手。 我正在研究一个需要从Kafka读取数据并从数据读取中创建文件的需求。Spring批处理:从Kafka读取数据并写入文件
经过一番研究,我了解到我需要使用Spring集成来连接和读取来自Kafka的数据。
我已经构建了一个Spring批处理应用程序,我使用Spring Integration来连接和读取来自Kafka的数据。
我被困在这一点上,关于如何将从卡夫卡读取的数据传递给Spring批处理FlatFileItemWriter。
我想知道如果我采用从Kafka读取数据(使用Spring Integration)的方法是正确的吗?如果是,我如何将从卡夫卡读取的数据传递给ItemWriter。
如果方法错误,那么在Spring Batch中实现此需求的最佳方法是什么?
感谢, 开放源代码浏览器
答
Spring Batch的提供JmsItemReader
。我希望你可以写一个基于卡夫卡的ItemReader
,它以类似的方式工作,将每条来自卡夫卡的消息作为每个常规弹簧批处理范例的项目读取。您可以在Github上查看JmsItemReader
的代码:https://github.com/spring-projects/spring-batch/blob/master/spring-batch-infrastructure/src/main/java/org/springframework/batch/item/jms/JmsItemReader.java
因此,您确实有一个从kafka读取的spring-batch Listener(自定义我猜)? – Asoub
我有一个春季集成卡夫卡消费者阅读卡夫卡.... –