Spark编译

1.安装Maven

2.配置Maven环境变量

3.下载解压Spark源码包(http://spark.apache.org/downloads.html

4.更改Spark的Scala版本为2.11

./dev/change-scala-version.sh 2.11

Spark编译

 

5.修改Spark源码包下的make-distribution.sh

注释掉130-142,添加143-146
Spark编译
 

6.执行Build命令

./make-distribution.sh --name spark-1.6.1-bin-hadoop2.6.4 --tgz -Psparkr -Phadoop-2.6 -Dhadoop.version=2.6.4 -Dyarn.version=2.6.4 -Dscala-2.11 -Phive -Phive-thriftserver -Pyarn