Spark-IDEA创建Spark项目(scala)

安装JDK、Scala、IDEA见我的其他博客有详细的介绍。

启动idea：

进入到某个文件夹：

File-NewProject：Scala-IDEA

Project Name：

File-Project Structure-Modules：新建文件夹，设为source

添加Library：

scala SDK：

Java Library：选择$SPARK_HOME/jar/下的所有包：

因为太多分两次导入的所有会有两个：

新建包，创建文件：

下面的案例使用scala.class。注意hadoop，spark要开启。

相同的案列的spark-shell实现在：https://blog.****.net/qq_25948717/article/details/83114400

直接在spark-shell下的案列不需要new出conf，sc，启动时已经初始化了，代码编写时却不能省略。

在IDEA里面编写的代码既可以直接在IDEA中运行或调试，也可以打包后提交到spark-shell。

1.直接运行：

 运行之前需要进行编译：Build-Make Project或者Ctrl+F9

 

  编译通过后，在代码界面单击鼠标右键，选择运行程序弹出“运行/调试配置”，或者下面：

选择输入设置的两个路径参数：路径是本地里面的，不是hdfs里面的，因为这个本地开发。Main Class也要选

单击Run-Run或Shift+F10运行：

运行可能会出现问题，把scala-SDK换成2.11版就行。

2.打包运行

设置包的输出路经：

设置完毕后：

生成项目的打包文件：

将文件提交到spark集群就可以了：

提交：