【三】SparkSQL概述
概述
SparkSQL是Spark的一个模块,用来处理结构化数据的。
SparkSQL能够运行SQL/Hive SQL包括UDF、UDAF、序列化和反序列化。
SparkSQL能够通过JDBC的方式连接到已经存在的BI工具上。
它能够支持Python、Java、Scala、R语言。
Spark SQL可以在Spark程序中查询结构化数据,也能使用DataFrame API来查询。
它能用相同的数据访问方式连接外部数据源。DataFrames和SQL提供了通用的方式访问各种各样的数据源,包括Hive Avro Parquet ORC JSON JDBC。甚至能够通过这些数据源来join数据。
与Hive能够很好的兼容,能够在已有的数据仓库中运行SQL或者HiveQL查询。
能够通过JDBC 或ODBC来连接到外部BI工具中。
架构