Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好 适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark可以让你的程序在内存中运行时速度提升100倍，或者在磁盘上运行时速度提升10倍。去年，在100 TB Daytona GraySort比赛中，Spark战胜了Hadoop，它只使用了十分之一的机器，但运行速度提升了3倍。Spark也已经成为针对 PB 级别数据排序的最快的开源引擎。

 

Spark支持Scala、Java、Python、R等接口，本文均使用Python环境进行学习。

 

下载

下载地址：http://spark.apache.org/downloads.html

如下图所示，选择最新版本的Spark，Pre-built版本下载之后可以直接运行，不需要我们再次编译。在不使用集群环境时，我们可以不安装Hadoop环境直接进行运行。选择完成后就可以点击选项4中的链接进行下载。

安装

1.下载的Spark直接解压就完成了安装，Windows 用户如果把Spark 安装到带有空格的路径下，可能会遇到一些问题。所以需要把Spark 安装到不带空格的路径下，比如C:\spark 这样的目录中。

2.Spark由于是使用Scala语言编写，因此需要安装对应版本的JDK包才能正常使用。JDK同样安装到不带空格的路径下。

3.Spark启动时需要根据HADOOP_HOME找到winutils.exe，因此需要下载对应版本的环境。

1.下载winutils的windows版本
由于我们的包是2.7版本，因此下载2.7版本的环境。
2.配置环境变量
增加用户变量HADOOP_HOME，指向文件解压的目录，然后在系统变量path里增加%HADOOP_HOME%\bin 即可。

4.将spark-python文件夹下的pyspark文件夹拷贝到python对应的文件夹中。或者执行以下命令安装：

Linux环境的配置类似即可。

测试

在conf 目录下复制log4j.properties.template为log4j.properties ，这个文件用来管理日志设置。接下来找到下面这一行：

然后通过下面的设定降低日志级别，只显示警告及更严重的信息：

在spark-bin文件夹下执行pyspark命令就可以进入pyspark-shell环境。也可以为Spark设置环境变量，同以上Hadoop环境的操作。

在shell中执行下列代码测试，计算文件行数：

测试独立应用连接spark，将下列代码保存在demo.py，执行spark-submit demo.py，命令。

在Spark2.0中只要创建一个SparkSession就够了，SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中,因此代码也可以写成如下：

向spark提交的运行结果如图所示：

异常处理

Hadoop winutils不存在异常

Failed to locate the winutils binary in the hadoop binary path

Hadoop winutils版本异常

最开始下载的winutils版本是Hadoop 2.0版本，不符合Spark编译的2.7版本，因此出现了代码异常，更换版本后正常。关键异常提示为：

Caused by: org.apache.spark.sql.AnalysisException: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V;
pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':"

访问权限权限异常

由于windows与Linux权限的区别，在windows启动Spark时需要在tmp文件夹由于权限问题，无法写入导致的异常。使用管理员权限启动cmd，并且提前使在对应盘根目录下创建tmp文件夹，问题解决。关键异常提示：

Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ---------