spark sql小节
2个编程抽象DataFrame和DataSet
DataSet是强类型的,DataFrame是弱类型的;
spark.write
spark.read.jdbc (“jdbc:。。。。”,参数,参数)
spark-shell 默认是支持hive的,代码中默认是不支持的,需要设置参数
内嵌hive是不用的
公司基本都是hive外部调用
rdd、dataframe以及dataset之间的相互装换:
面试sparksql问的不多,面试重点主要是在hive的能力;
聚合函数核心需要做的东西:类型定义,计算(分区内分区外最终的计算)
中间缓存的方法。
sparksession开始;