在spark-2.2.x中操作hive的表数据的流程
环境:centos6.5 hadoop 伪分布式 ,spark 伪分布式 安装hive
在window下面。在idea中,通过程序去操作hive中的表。
需要把linux上面spark安装目录下面/conf里面的hive-site.xml的文件放到window下面idea中当前project中 的resources文件夹下面。
并且配置log4j.properties文件。方便查看控制台日志。
由于2.0之后的版本spark把sqlContext和hiveContext都放到SparkSession里面了。按照下面的方式来创建hiveContext对象
下面就可以愉快的操作hive了。