windows下spark的安装

windows下spark的安装

首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。

选择的环境如下:
jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4

一、 scala安装

scala安装包下载:
链接:https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q
提取码:g0zi

安装后cmd输入scala,出现如下截图:
windows下spark的安装
说明安装成功。
二、 hadoop安装

Hadoop安装包下载:
链接:https://pan.baidu.com/s/1yStRoGP9mDcqBjEufSIbQg
提取码:l6yf

下载后直接解压,然后配置环境变量(路径不能有空格或者中文)

HADOOP_HOME
D:\Soft\hadoop-2.7.4

path
D:\Soft\hadoop-2.7.4\bin

winutils.exe下载:
链接:https://pan.baidu.com/s/1QKkKXquBcnlHTfn5dvL21w
提取码:nuz6

解压后将文件放入hadoop下的bin目录里面
windows下spark的安装
三、 Spark安装

Spark安装包下载:
链接:https://pan.baidu.com/s/1yQiyFPj62IhLNZUULAdGmA
提取码:na7h

下载后解压就行,然后配置环境变量(路径不能有空格或者中文)。

SPARK_HOME
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7

path
D:\Soft\Spark\spark-2.4.4-bin-hadoop2.7\bin

四、 验证
在cmd中输入spark-shell命令
windows下spark的安装

出现上图,说明安装成功