Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置

1、下载并解压spark-1.6.0-bin-hadoop2.6.tgz  我的在/chenjie下

2、vim /etc/profile增加环境变量

exprot SPARK_HOME=/chenjie/spark-1.6.0-bin-hadoop2.6

export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

3、使用scp /chenjie/spark-1.6.0-bin-hadoop2.6 [email protected]:/chenjie命令将目录发送到pc2 ，pc3同理

scp /etc/profile [email protected]:/etc/profile将环境变量文件发送的pc2 pc3同理

4.使用source /etc/profile使其生效

5、进入chenjie/spark-1.6.0-bin-hadoop2.6/conf

使用cp spark-env.sh.template spark-env.sh新建一个配置

配置spark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/chenjie/scala-2.10.4
export HADOOP_HOME=/chenjie/hadoop-2.6.5
export HADOOP_CONF_DIR=/chenjie/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=pc1
export SPARK_LOCAL_IP=pc1

保存退出

6、切换到chenjie/spark-1.6.0-bin-hadoop2.6/sbin

7../start-all.sh启动

8.输入jps查看进程

9.使用求圆周率实例测试是否成功