NSQ系列(一)：概述和架构

关于NSQ

NSQ是Go开发的，比较轻量的一款MQ。公司很多项目使用了NSQ作为消息队列，也借此了解下NSQ。
先说下NSQ的几个特性，

• 分布式部署，没有单点问题
• 支持水平扩容
• 消息优先存储在内存(超过限制后可以保持在磁盘)
• Consumer可以动态发现Producer

架构

集群两个主要角色：nsqd和nsqlookupd。

nsqd

nsqd负责提供集群的主要功能，一个nsqd实例同时处理多个数据流。与Kafka类似，一个数据流也可以被称为一个topic。NSQ还有一个Channel的概念，类似于Kafka的ConsumerGroup，一个topic可以对应多个Channel，不同的是，每个Channel都存储一份完整的数据(完整的未消费的数据)，而Kafka则是存储同一份数据，通过Offset来区分不同的ConsumerGroup的消费进度。
Consumer需要指定一个Channel才能消费数据。
一个Channel通常会与多个Consumer Client建立连接。当channel中存在待处理的消息时，Channel会从多个Client中随机选择一个进行推送，整个流程如下图所示，

概括来说，一条消息从Topic广播到Channel(每个Channel都会收到一份消息)，然后再从Channel分发到Consumer。

nsqlookupd

nsqlookupd主要提供服务发现功能，Consumer可以通过nsqlookupd来知道它要消费的Channel数据分布在哪些nsqd实例。

交互

每个nsqd都会与nsqlookupd建立一个TCP长连接，并且定期向nsqlookupd上报自己的状态信息，主要包括自己当前处理那些Topic以及对应Topic包含哪些Channel。

参考资料

• https://nsq.io/overview/features_and_guarantees.html