Spark 2.2.0 集群部署

环境说明

服务器1

主机名：node201

IP：10.0.0.201

OS: centos 7.4

hadoop: NameNode, ResourceManager, SecondaryNameNode 

spark: master

服务器2

主机名：node202

IP：10.0.0.202

OS: centos 7.4

hadoop: DataNode, NodeManager

spark: worker

服务器3

主机名：node203

IP：10.0.0.203

OS: centos 7.4

hadoop: DataNode, NodeManager

spark: worker

关闭防火墙

略

关闭SELinux

略

安装JDK8

略

安装Scala

略

配置ssh免密登录

http://blog.****.net/chenhaifeng2016/article/details/78166190

安装Hadoop 2.7.4

http://blog.****.net/chenhaifeng2016/article/details/63688535

安装Spark 2.2.0

下载hadoop版本对应的软件包spark-2.2.0-bin-hadoop2.7.tgz

解压到目录

/usr/local/src/spark-2.2.0-bin-hadoop2.7

配置/etc/profile

配置/etc/hosts

配置$SPARK_HOME/conf/spark-env.sh

配置$SPARK_HOME/conf/slaves

在节点node202, node203做同样的操作，或者把node201的spark打包并拷贝到node202, node203。

启动spark (启动之前先运行hadoop)

./sbin/start-all.sh

查看进程

访问WebUI

--完成--