Spark源码环境搭建
提前安装一些开发工具
- Scala 2.10.4
- git 2.8.1
- maven 3.3.9
- IntelliJ IDEA 2015.02
源代码获取和编译
直接从官方的github上拉取代码
$ git clone [email protected]:apache/spark.git
$ git checkout v1.6.0
$ git checkout -b v160
编译源码
参考官方文档，我们这里使用4个线程，跳过tests，以便加快编译速度
$ build/mvn -T 4 -DskipTests clean package
$ spark-shell 测试一下
源码导入和代码运行
找到 example 中的 LocalPi.scala例子
在菜单栏点击Run -> Edit Configuration - 点击+ -> Application 配置如下
然后运行程序，程序会报错
这里的报错是缺少依赖包，解决方法如下：
在菜单栏点击File -> Project Structure -> Modules -> 选择 spark-examples_2.11 -> Dependencies -> 点击+ -> 选择jars or directories
再次运行程序的时候可以看到正常输出