spark学习之IDEA打jar包

一:打包成jar

1.修改代码

  spark学习之IDEA打jar包

 

 

2.使用maven打包

  但是目录中有中文,会出现打包错误

  spark学习之IDEA打jar包

 

3.第二种方式

  spark学习之IDEA打jar包

 

4.下一步

  spark学习之IDEA打jar包

 

5.下一步

  spark学习之IDEA打jar包

 

6.下一步

  spark学习之IDEA打jar包

 

7.下一步

  spark学习之IDEA打jar包

 

8.下一步

  spark学习之IDEA打jar包

 

9.完成

  spark学习之IDEA打jar包

 

 二:在集群上运行(local模式)

1.上传

  spark学习之IDEA打jar包

 

2.运行(local模式)

  spark学习之IDEA打jar包

 

3.运行结果

  spark学习之IDEA打jar包

 

三:集群上运行(standalone模式)

1.DeoloyMode

  表示Driver执行的位置。

  client如果是参数,则表示driver执行在执行spark-submit命令的机器上。

  cluster是参数,则表示driver会运行在集群中选择的某一台机器上。

 

2.运行(standalone模式的client)

  spark学习之IDEA打jar包

 

3.结果(8080端口)

  spark学习之IDEA打jar包

 

4.运行(standalone模式的cluster)

  spark学习之IDEA打jar包

 

5.结果

  spark学习之IDEA打jar包

 

三:介绍模式

1.client

  spark学习之IDEA打jar包

 

2.cluster

  spark学习之IDEA打jar包