Spark源码阅读环境搭建

前言

对于Spark的应用，仅仅会使用期API来编程只能达到初级（助理）工程师或中级（熟练）工程师的水平，而学会调优则可以让你进阶为高级工程师。那么怎么才能成为顶尖的工程师呢？源码！

如果你还要安装spark的话，scala的版本要根据spark指定的scala版本来安装。即先安装spark，再根据spark的提示，安装指定的scala版本。具体操作见： https://blog.csdn.net/csdn_dengfan/article/details/88375313 这篇文章最后一段话。
 

准备工作

（1）下载IDEA
（2）配置Scala2.11
（3）配置Maven
（4）下载Spark源码

详细步骤

（1）官网下载

（2）打开IDEA，单击Import Project，并选择Maven方式

（3）勾选自动导入Maven项目，自动下载source和Documentation，在右下角的Environment settings里面选择要使用的Maven和Maven配置文件。然后单击Next按钮。

（4）选择要加载的profile，根据自己的需要勾选，然后一直单击Next按钮，直到出现Finish。IDEA打开后会引入源码并解析pom文件开始下载源码需要的jar包（建议Maven配置文件的仓库选择比较快的镜像，否则会下载很长时间）。




（5）这个时候就可以查看源码了

说明

如果想在编写程序的时候随时查看源码，还需要作如下操作：
把每个源码目录下面的/src/main里面的scala文件夹选中，在右键选项里选择Mark Directory as：Sources Root，如下图：