Ambari Spark 集成 Hive 失败。spark sql创建的表hive看不到,hive创建的表 spark看不到
现象:
Ambari 安装了 Spark 和 hive ,但集成未成功。spark sql创建的表hive看不到,hive创建的表 spark看不到
解决:
- 登录 Ambari 界面,到 Spark 组件修改配置。
1)Advanced spark2-defaults 的 spark.sql.warehouse.dir 值/apps/spark/warehouse 改为 /warehouse/tablespace/managed/hive
(其实就是 hive 的 Hive Metastore Warehouse directory 的值,可去 hive 组件那里找到该值。) - 2)Advanced spark2-hive-site-override 的 metastore.catalog.default 值 spark 改为 hive
- 到 hive 组件修改配置。
hive.strict.managed.tables 的 true 改为 false
(有两个 hive.strict.managed.tables)