ActiveMQ高可用集群安装、配置（zookeeper + LevelDB）
从ActiveMQ5.9开始，ActiveMQ的集群实现方式取消了传统的Master-Slave方式，增加了基于zookeeper + LevelDB的Master-Slave实现方式，其他两种方式“目录共享”和“数据库共享”依然存在。
三种集群方式的对比：
（1）基于共享文件系统（KahaDB，默认）
<persistenceAdapter>
<kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>
（2）基于JDBC
<bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="jdbc:mysql://localhost:3306/amq?relaxAutoCommit=true"/>
<property name="username" value="root"/>
<property name="password" value="root"/>
<property name="maxActive" value="20"/>
<property name="poolPreparedStatements" value="true"/>
</bean>
<persistenceAdapter>
<jdbcPersistenceAdapter dataDirectory="${activemq.data}" dataSource="#mysql-ds"
createTablesOnStartup="false"/>
</persistenceAdapter>
（3）基于可复制的LevelDB
LevelDB是谷歌开发的一套用于持久化数据的功性能类库。LevelDB并不是一种服务，用户需要自行实现Server。是单进程的服务，能够实现十亿级别规模Key-Value型数据，占用内存小。
<persistenceAdapter>
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62621"
zkAddress="localhost:2181,localhost:2182,localhost:2183"
hostname="localhost"
zkPath="/activemq/leveldb-stores"
/>
</persistenceAdapter>
本文主要讲解基于zookeeper的LevelDB搭建ActiveMQ集群。
集群仅提供主备方式的高可用集群功能，避免单点故障，没有负载均衡功能。
原理如图：
高可用的原理：使用zookeeper集群注册所有的ActiveMQ Broker。至于其中的一个Broker可以提供服务，被视为Master，其他的Broker处于待机状态，被视为Slave。如果Master因故障不能提供服务，Zookeeper会从Slave中选举出一个Broker充当Master。
Slave连接Master并同步它们的存储状态，Slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的Slave中。如果Master宕机了，得到了最新更新的Slave会成为Master。故障节点在恢复后会重新加入到集群中并连接Master进入Slave模式。
所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以如果配置了replicas=3，那么法定大小是（3/2）+1=2。Master将会存储并更新然后等待（2-1）=1个Slave存储和更新完成，才汇报success。至于为什么是2-1，熟悉zookeeper的应该知道，有一个node要作为观察者存在。当一个新的Master被选中，需要保障至少一个法定node在线以能够找到拥有最新状态的node，这个node可以成为最新的Master，因此，推荐运行至少3个replica node，以防止一个node失败了，服务中断。（原理与zookeeper集群的高可用实现方式类似）
1.ActiveMQ集群部署规划
zookeeper集群环境：192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183
| 主机 | 集群端口 | 消息端口 | 管控台端口 | 节点安装目录 |
| 192.168.1.81 | 62621 | 51511 | 8161 | /home/wusc/activemq/node-01 |
| 192.168.1.82 | 62622 | 51512 | 8162 | /home/wusc/activemq/node-02 |
| 192.168.1.83 | 62623 | 51513 | 8163 | /home/wusc/activemq/node-03 |
2.防火墙中打开以上所有端口
3.分别在3台主机中创建/root/tengjs/activemq目录
$ mkdir /root/tengjs/activemq
上传apache-activemq-5.11.1-bin.tar.gz到/root/tengjs/activemq目录
4.解压并按节点命名
$ cd /root/tengjs/activemq
$ tar -xvf apache-activemq-5.11.1-bin.tar.gz
$ mv apache-activemq-5.11.1 node-0X #(X 代表节点号 1、 2、 3， 下同)
5.修改管理控制台端口（默认为8161），可在conf/jetty.xml中修改，如下：
node-01管控台端口
<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
<!-- the default port number for the web console -->
<property name="host" value="0.0.0.0"/>
<property name="port" value="8161"/>
</bean>
node-02管控台端口
<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
<!-- the default port number for the web console -->
<property name="host" value="0.0.0.0"/>
<property name="port" value="8162"/>
</bean>
node-03管控台端口
<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
<!-- the default port number for the web console -->
<property name="host" value="0.0.0.0"/>
<property name="port" value="8163"/>
</bean>
6.集群配置
在3个ActiveMQ节点中配置conf/activemq.xml中的持久化适配器。修改其中的bind、zkAddress、hostname、zkPath
注意每个ActiveMQ的BrokerName必须相同，否则不能加入集群。
node-01中的持久化配置
<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
<persistenceAdapter>
<!-- kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62621"
zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
hostname="edu-zk-01"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
</broker>
node-02中的持久化配置
<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
<persistenceAdapter>
<!-- kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62622"
zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
hostname="edu-zk-02"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
</broker>
node-03中的持久化配置
<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
<persistenceAdapter>
<!-- kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62623"
zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
hostname="edu-zk-03"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
</broker>
修改各节点的消息端口（注意避免端口冲突）
node-01中的消息端口配置
<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51511?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
node-02中的消息端口配置
<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51512?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
node-03中的消息端口配置
<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51513?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
7.按顺序启动3个ActiveMQ节点
$ /home/wusc/activemq/node-01/bin/activemq start
$ /home/wusc/activemq/node-02/bin/activemq start
$ /home/wusc/activemq/node-03/bin/activemq start
监听日志
$ tail -f /home/wusc/activemq/node-01/data/activemq.log
$ tail -f /home/wusc/activemq/node-02/data/activemq.log
$ tail -f /home/wusc/activemq/node-03/data/activemq.log
8.集群的节点状态分析
集群启动后对zookeeper数据的抓图，可以看到ActiveMQ有3个节点，分别是00000000000，00000000001和00000000002。
以下第一张图展现了00000000000的值，可以看到elected的值是不为空，说明这个节点是Master，其他两个节点是Slave。
9.集群可用性测试ActiveMQ的客户端只能访问Master的Broker，其他处于Slave的Broker不能访问，所以客户端连接Broker应该使用failover协议
failover:(tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513)?randomize=false
10.当一个ActiveMQ节点挂掉，或者一个zookeeper节点挂掉，ActiveMQ服务依然正常运转。如果仅剩一个ActiveMQ节点，因为不能选举Master，ActiveMQ不能正常运转；同样的，如果zookeeper仅剩一个节点活动，不管ActiveMQ是否存活，ActiveMQ也不能正常提供服务。
ActiveMQ集群的高可用，依赖于zookeeper集群的高可用。
11.设置开机启动
12.配置优化（可选）
updateURIsURL，通过URL（或者本地路径）获取重连的url，这样做具有良好的扩展性，因为客户端每次连接都是从RUL（或文件）中加载一次，所以可以随时从文件中更新url列表，做到动态添加MQ的备点。
failover:()?randomize=false&updateURIsURL=file:/home/wusc/activemq/urllist.txt
urllist.txt中的地址通过英文逗号分隔，示例：
tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513
官方警告：
replicatedLevelDB不支持延迟或者计划任务消息。这些消息存储在另外的LevelDB文件中，如果使用延迟或者计划任务消息，将不会复制到slave Broker上，不能实现消息的高可用。