Kafka架构
分类:
文章
•
2024-02-21 09:10:34
kafka 概念
- Topic
- 逻辑概念，同一个Topic的消息分布在一个或者是多个（Broker）节点上
- 一个Topic包含一个或者多个Partition
- 每条消息都属于而且仅属于一个Topic
- Producer发布数据，必须指定将该消息发布到哪一个Topic
- Consumer订阅消息时，也必须指定订阅那个Topic的消息
- Partition
- 物理概念，一个Partition只分布于一个Borker(不考虑备份)
- 一个Partition物理上对应一个文件夹
- 一个Partition包含多个Segment(Segment对用户透明)
- 一个Segment由一个个不可变的记录组成
- 记录只会被append到Segment，不会被单独删除或者时修改
- 清除过期日志，直接删除一个或者是多个Segment
- Sync Producer(同步发送，如果发送三次发送不成功能就会失败，再次发送，catch 异常，再发送)
- 低延迟
- 低吞吐率
- 无数据丢失(可以获取到发送成功失败状态)
- Aync Producer(将要发送的消息放置到queue,然后才会批量发送给Broker)
