IDEA build Spark Artifact包 控制jar大小

使用IDEA打Spark jar包

我们使用Scala编写Spark程序代码,需要将编译好的jar放到集群环境中跑任务,但是集群中大部分的依赖包已经存在了,我们就不需要将其再次打入到Spark程序包中,这个操作类似于用Maven打包的<scope>provided</scope>
今天抽空写一下用IDEA build Artifact包。
PS :Scala开发环境以及使用Maven创建Scala项目得准备好,这里不做教程

第一步、
IDEA build Spark Artifact包 控制jar大小第二步、
IDEA build Spark Artifact包 控制jar大小第三步、
IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小第四步、
IDEA build Spark Artifact包 控制jar大小我在第四步骤的做法是把所有的依赖全部删除,我去maven本地库中寻找我需要的依赖jar 将它们整合在一起放到一个文件夹下面,然后点击左边的 “+”将它们再次引进过来,具体看下面的截图。
IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小第五步、

开始build 了
IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小build结束后我们就能看到artifacts文件夹了,下面是我们所有build jar
IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小IDEA build Spark Artifact包 控制jar大小到此结束,此种打包方式放到CDH环境上是没问题的,亲测有效。
核心就是找出你哪些引用的jar在CDH环境上是没有的,将其整合在一起。