Kafka 消息队列的使用

1. 消息队列相关概念;

相关概念:
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合异步消息流量削峰等问题。实现高性能高可用可伸缩最终一致性架构。是大型分布式系统不可缺少的中间件。
使用场景:异步处理
场景说明:用户注册成功后,发送注册邮件,再发送注册短信。
串行方式:将注册信息写入数据库成功后,向用户发送邮件,再发送注册短信,将结果返回客户端。
并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信,以上三个任务完成后,返回给客户端。
消息队列:将注册信息写入数据库成功后,注册信息写入消息队列,就将结果返回给客户端。然后发送邮件和短信的消费者异步读取消息队列。
Kafka 消息队列的使用
使用场景:应用解耦
场景说明:用户下单后,订单系统需要通知库存系统。
传统方式:订单系统调用库存系统接口(并不可靠,访问接口的时候网络可能挂了,库存系统挂了,用户下单会失败)
消息队列
‐ 订单系统:在用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功
‐ 库存系统:订阅下单的消息,采用拉 / 推的方式,获取下单信息,库存系统根据下单信息,进行库存操作。这样用户在下单的时候,不会去访问库存系统相关内容
Kafka 消息队列的使用
使用场景:流量削峰
场景说明:秒杀活动,一般会因为流量过大,导致流量暴增。
传统方式:服务端突然接收来自前端的大量订单请求。
消息队列:在应用的前端加入消息队列。
‐ 用户的请求,服务端接收后,首先写入消息队列。假如消息队列长度超过最大数量,则字节抛弃用户请求或跳转到错误页面
‐ 秒杀业务根据消息队列中的请求信息,再做后续处理
Kafka 消息队列的使用
使用场景:日志处理
解决大量日志传输的问题
日志采集客户端(比如 Yii2 框架的 log 组件),负责日志数据采集,写入 Kafka 队列
Kafka 消息队列负责日志数据的接收,存储和转发
日志处理应用:订阅并消费 Kafka 队列中的日志数据
Kafka 消息队列的使用
使用场景:消息通讯
点对点消息队列,或者聊天室
客户端 A 和客户端 B 使用同一队列,进行消息通讯
客户端 A、客户端 B、客户端 N 订阅同一主题,进行消息发布和接收
Kafka 消息队列的使用
消息队列组要产品
目前在生产环境,使用较多的消息队列有 ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ 等