spark windows java 本地开发环境搭建
需要三步
- 安装java本地环境(此步省略)
- 下载spark软件包
- 配置spark环境
直接第2步开始,下载地址是
http://spark.apache.org/downloads.html
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
下载完之后再本地解压,推荐7-ZIP软件解压
第3步:解压完成之后,配置环境变量
有两个环境变量需要配置
SPARK_HOME:spark解压之后的目录,不要指向到解压之后的bin目录了(不要有空格的文件夹路径)
HADOOP_HOME:没有安装hadoop,所以搭建一个模拟的hadoop环境,只需要创建一个文件夹,再文件夹中新建一个bin目录,再将winutils.exe文件放到bin目录中,配置bin上级目录为这个环境变量的值
切入到spark的bin目录,运行spark-shell.cmd
Windows的spark本地开发环境就搭建好了