SparkSession如何在多用户项目中共享?

问题描述:

我是Spark SQL的新手,但了解如何创建SparkSession,加载数据文件,从加载的数据文件创建表以及查询加载的表以查找单用户应用程序。SparkSession如何在多用户项目中共享?

现在,假设我想启用一个多用户环境,用户可以访问一个网站并对我在Spark SQL中加载的表运行查询。

我该如何做到这一点?我显然不想为每个用户加载表格。它在现实世界的应用程序中如何完成?我是否只需制作SparkSession单例,然后在用户之间共享此SparkSession,并让它们在此SparkSession上运行查询?

有几个已经存在的工具可以帮助你。

看一看https://github.com/spark-jobserver/spark-jobserverhttps://github.com/cloudera/livy