Kafka简介
1. 设计目标
- 分布式的发布订阅消息系统
- O(1) 复杂度的持久化能力
- 高吞吐率, 单机100K以上消息
- 支持kafka server 消息分区 分布式消费
- 水平扩展
2. 基础概念
2.1 生产者与消费者
2.2 主题与分区
每个主题对应一个消息队列
2.3 broker和集群
一个Kafka服务器也称为broker;
若干个broker组成一个集群;
集群内的某个broker会成为集群控制器
2.4 多集群
- 基于数据的隔离;
- 基于安全的隔离;
- 多数据中心(容灾)