RocketMQ生产环境下的配置和使用

RocketMQ中有四个十分重要的角色

• Producer
• Consumer
• NameServer
• Broker
• Topic
• Message Queue

启动顺序为：NameServer -----> Broker -----> Consumer -----> Producer

RocketMQ各个角色之间的关系

Name Server

Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

Broker

Broker部署相对复杂，Broker分为Master与Slave

Mster 和 Slave 之间的关系

• Master --1---------N–> Slave
• Slave --1---------1–> Master

Master与Slave的对应关系通过指定相同的Broker Name，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。

每个Broker与Name Server集群中的所有节点建立长连接，定时(每隔30s)注册Topic信息到所有Name Server。

Name Server定时(每隔10s)扫描所有存活Broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的连接。

Producer

Producer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Broker Master建立长连接，且定时向Broker Master发送心跳。Producer完全无状态，可集群部署。

Producer每隔30s（由ClientConfig的pollNameServerInterval）从Name server获取所有Topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。

Producer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的Broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接。

Consumer

Consumer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Broker Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多需要30s才能感知。

Consumer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接；并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。

当Consumer得到master宕机通知后，转向slave消费，slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是一旦master恢复，未同步过去的消息会被最终消费掉。

Topic

Producer会发送大量的同类型以及不同类型的消息，这时候就需要一个标识来区别这些消息类型，这就是Topic的作用，每个Consumer通过各自的Topic从Broker中获取各自的消息

Message Queue

当一个Topic要发送和接收的数据量非常大，这时候就会存在性能问题，搞不好会造成消息队列中的消息大量积压。如何处理？
这就引入了Message Queue
一个Topic可以根据需求设置一个或者多个Message Queue，Message Queue就是类似分区和Partition的东西。这时就可以并行的向各个Message Queue中发送消息，消费者也可以并行的从多个Message Queue中获取消息