Spark的高可用机制HA

1.安装zookeeper集群，修改配置文件，之后启动zookeeper的服务。

之后使用命令zkServer.sh start分别启动你的每台机器上面的zk服务。可以使用命令zkServer.sh status查看状态。

2.已经安装好spark集群。在配置文件中修改一些配置，将master的信息注册在你的zookeeper的集群上。

具体的命令是：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp01:2181,hdp02:2181,hdp03:2181 -Dspark.deploy.zookeeper.dir=/spark"

3.现在就就可以在集群中启动你的spark服务了。使用命令

start-all.sh   --启动master和指定的worker。

在另外一台机器上面启动热备的master，使用命令： start-master.sh.

 现在你的spark集群就是HA的热备状态了，可以在网页上观看。 hdp01:8080 以及 hdp02:8080 。可以验证。此外，要保证集群的时间是一致的。