spark sql小节

2个编程抽象DataFrame和DataSet

DataSet是强类型的,DataFrame是弱类型的;
spark.write

spark.read.jdbc (“jdbc:。。。。”,参数,参数)

spark-shell 默认是支持hive的,代码中默认是不支持的,需要设置参数

内嵌hive是不用的

公司基本都是hive外部调用
rdd、dataframe以及dataset之间的相互装换:
spark sql小节
面试sparksql问的不多,面试重点主要是在hive的能力;

聚合函数核心需要做的东西:类型定义,计算(分区内分区外最终的计算)
中间缓存的方法。

sparksession开始;