windows下spark环境搭建

在windows下spark的环境搭建步骤如下：

• 下载 jdk-8u131-windows-x64.exe。若安装路径为E:\Java\，则增加如下的环境变量：
  JAVA_HOME=E:\Java\jdk1.8.0_131
  CLASSPATH=.;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\bin;
  PATH中增加%JAVA_HOME%\bin

• 下载最新版scala安装包scala-2.12.8.msi，若安装路径为E:\scala，则增加环境变量E:\scala\bin；

• 下载 spark执行体spark-2.4.3-bin-hadoop2.7.tgz，若解压路径为E:\spark-2.4.3-bin-hadoop2.7，则增加环境变量E:\spark-2.4.3-bin-hadoop2.7\bin；

• 下载 hadoop-2.7.3.tar.gz，若解压路径为E:\hadoop-2.7.3，则增加环境变量HADOOP_HOME=E:\hadoop-2.7.3和%HADOOP_HOME%\bin

• 下载 hadoop对应版本的winutils.exe，放入E:\hadoop-2.7.3\bin目录中，然后运行E:\hadoop-2.7.3\bin\winutils.exe chmod 777 /tmp/Hive

• 运行spark-shell检查安装是否成功，如果出现以下内容，恭喜你环境搭建成功：
  

• 注意，所有安装路径不应有空格，所有安装路径不应有空格，所有安装路径不应有空格，重要的事情说三遍

• 解决 spark-shell日志过多的办法
  进入spark目录/conf目录下，将log4j.properties.template在当前目录下复制一份，修改文件名为log4j.properties，然后打开修改下面的语句，将“INFO”改为“WARN”，保存退出，再次计入spark-shell，日志就只会显示warn级别的了