Kafka 消息队列的使用
本篇概要:
1. 消息队列相关概念;
- 相关概念:
- 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削峰等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。
- 使用场景:异步处理
- 场景说明:用户注册成功后,发送注册邮件,再发送注册短信。
- 串行方式:将注册信息写入数据库成功后,向用户发送邮件,再发送注册短信,将结果返回客户端。
- 并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信,以上三个任务完成后,返回给客户端。
-
消息队列:将注册信息写入数据库成功后,注册信息写入消息队列,就将结果返回给客户端。然后发送邮件和短信的消费者异步读取消息队列。
- 使用场景:应用解耦
- 场景说明:用户下单后,订单系统需要通知库存系统。
- 传统方式:订单系统调用库存系统接口(并不可靠,访问接口的时候网络可能挂了,库存系统挂了,用户下单会失败)
- 消息队列:
- ‐ 订单系统:在用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功
- ‐ 库存系统:订阅下单的消息,采用拉 / 推的方式,获取下单信息,库存系统根据下单信息,进行库存操作。这样用户在下单的时候,不会去访问库存系统相关内容
- 使用场景:流量削峰
- 场景说明:秒杀活动,一般会因为流量过大,导致流量暴增。
- 传统方式:服务端突然接收来自前端的大量订单请求。
- 消息队列:在应用的前端加入消息队列。
- ‐ 用户的请求,服务端接收后,首先写入消息队列。假如消息队列长度超过最大数量,则字节抛弃用户请求或跳转到错误页面
- ‐ 秒杀业务根据消息队列中的请求信息,再做后续处理
- 使用场景:日志处理
- 解决大量日志传输的问题
- 日志采集客户端(比如 Yii2 框架的 log 组件),负责日志数据采集,写入 Kafka 队列
- Kafka 消息队列负责日志数据的接收,存储和转发
- 日志处理应用:订阅并消费 Kafka 队列中的日志数据
- 使用场景:消息通讯
- 点对点消息队列,或者聊天室
- 客户端 A 和客户端 B 使用同一队列,进行消息通讯
- 客户端 A、客户端 B、客户端 N 订阅同一主题,进行消息发布和接收
- 消息队列组要产品
- 目前在生产环境,使用较多的消息队列有 ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ 等