windows下spark的安装
windows下spark的安装
首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。
选择的环境如下:
jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4
一、 scala安装
scala安装包下载:
链接:https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q
提取码:g0zi
安装后cmd输入scala,出现如下截图:
说明安装成功。
二、 hadoop安装
Hadoop安装包下载:
链接:https://pan.baidu.com/s/1yStRoGP9mDcqBjEufSIbQg
提取码:l6yf
下载后直接解压,然后配置环境变量(路径不能有空格或者中文)
HADOOP_HOME
D:\Soft\hadoop-2.7.4
path
D:\Soft\hadoop-2.7.4\bin
winutils.exe下载:
链接:https://pan.baidu.com/s/1QKkKXquBcnlHTfn5dvL21w
提取码:nuz6
解压后将文件放入hadoop下的bin目录里面
三、 Spark安装
Spark安装包下载:
链接:https://pan.baidu.com/s/1yQiyFPj62IhLNZUULAdGmA
提取码:na7h
下载后解压就行,然后配置环境变量(路径不能有空格或者中文)。
SPARK_HOME
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7
path
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7\bin
四、 验证
在cmd中输入spark-shell命令
出现上图,说明安装成功