kafka架构，消息存储和生成消费模型，Kafka与其他队列对比，零拷贝，Kafka基本介绍
kafka架构，消息存储和生成消费模型，Kafka与其他队列对比，零拷贝，Kafka基本介绍
一、初识kafka
kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
kafka：数据直接存磁盘，0拷贝；默认保存7天的数据，7天内还可以在消费。
kafka可以给spark提供持续的输出。
1.1SparkStreaming+Kafka好处：
- -解耦
- -缓冲
消息队列常见场景：
- -系统之间解耦合
- -峰值压力缓冲
- -异步通信
1.2Kafka的架构：
- producer：消息生成者
- consumer：消息消费者
- broker：kafka集群的server，负责处理消息读、写请求，存储消息
- topic：消息队列/分类