Spark内核源码学习(暂未学完)

1) 回顾

1.1 Spark通用运行流程概述
在submit任务条件是需要指定executo个数,executor-CUP个数,可以提高并行度。

什么是并行,什么是并发?
并发:假如有多个任务task,并行是在一个cup中,多个task轮流执行,一个cpu中不可能一起执行,但是我们看到的几乎是同时执行
并行:多个cpu一起执行不同任务,任务间叫做并行执行

Spark内核源码学习(暂未学完)