Kafka简介

1. 设计目标

  • 分布式的发布订阅消息系统
  • O(1) 复杂度的持久化能力
  • 高吞吐率, 单机100K以上消息
  • 支持kafka server 消息分区 分布式消费
  • 水平扩展

 

2. 基础概念

2.1 生产者与消费者

Kafka简介

 

2.2 主题与分区

 

每个主题对应一个消息队列Kafka简介

 

2.3 broker和集群

一个Kafka服务器也称为broker;

若干个broker组成一个集群;

集群内的某个broker会成为集群控制器

Kafka简介

 

2.4 多集群

  • 基于数据的隔离;
  • 基于安全的隔离;
  • 多数据中心(容灾)