Databricks星火的conf
问题描述:
对不起,这里的愚蠢的问题,但我试图改变火花连接器的配置,特别是蒙戈星火连接器(需要连接器击中我们的督促服务器到我们的二级改变)。我如何访问SparkConf来进行这些更改?我使用Databricks和Python,V2.1Databricks星火的conf
我期待在https://docs.mongodb.com/spark-connector/master/configuration/但我很困惑,我甚至键入此?本地?在笔记本上?进入命令行?我已经尝试过,并没有取得任何成功。如果任何人有一个实际的逐步分解,这将是惊人的。
答
如果你想使用Databricks仪表板提供的配置:
- 转到您的Databricks仪表板。
-
开放式集群面板。
-
点击创建集群。
-
打开星火选项卡,并指定所需的选项:
-
你应该使用相同的格式进行配置文件,包括前缀:
spark.mongodb.input.uri mongodb://host:port/
参考: