Spark入门(一)------安装

Spark入门(一)------安装

一、安装
第一步：
下载spark压缩包，选用的压缩包为spark2.4.0

注意：这里使用的JDK版本要为1.8，如果JDK版本过高，当使用Shell进行学习的时候会出现如下错误导致spark无法启动。
java.lang.StringIndexOutOfBoundsException: begin 0, end 3, length 2

第二步：
解压安装包，然后在/etc/profile文件中添加环境变量。

加入环境变量后，保存退出，使用source /etc/profile重新加载该文件。

第三步：
修改spark的配置文件，进入spark目录下的conf目录，复制spark-env.sh.template，将其重新命名为spark-env.sh。在其中加入以下配置：

这里写入自己的IP地址。

第四步:
启动spark，进入spark目录下的sbin目录，执行./start-master.sh脚本，启动spark。

第五步：
回到spark目录的bin目录下，执行./spark-shell，启动scala shell。

在shell中，输入sc，可以得到shell连接spark的SparkContext对象。后面所有对spark的操作都是通过SparkContext来进行的。