SparkSQL的执行和优化过程
SparkSQL是基于RDD的,但是其执行效率又比RDD高,其原因就是因为SparkSQL的优化器–Catalyst
RDD执行效率低是因为RDD无法进行优化,其本身不具备数据scheme约束信息,无法得知数据的具体信息,然而SparkSQL一般用于结构化和半结构化数据,所以具备数据的scheme信息,可以对其进行优化处理
一:SparkSQL的API
SparkSQL的API有三种
sql
Dataset
DateFrame
二:SparkSQL的执行流程
三:SparkSQL的优化过程
1.API层接收sql语句
2.Catalyst层优化
2.1.解析SQL生成AST抽象语法树
2.2往AST中加入元数据
元数据解析:
例如: people.id#3#L
解析: 生成 id 的标识为 3 数据类型是Long类型
2.3谓词下推
谓词下推的作用 : 把filter操作提前,减少了后续一序列操作的数据集,自然提高了数据的操作效率
2.4列值裁剪
比如说只需要获取 id 列
就把id列先获取出来
把不需要的列数据提前裁剪掉
减少不必要的列数据
另外:
AST只是逻辑计划,后续还需要生成物理计划,执行RDD