我怎么能转换pyspark.sql.dataframe.DataFrame回SQL表中databricks笔记本
问题描述:
我通过执行以下行创建pyspark.sql.dataframe.DataFrame
类型的数据帧: dataframe = sqlContext.sql("select * from my_data_table")
我怎么能转换pyspark.sql.dataframe.DataFrame回SQL表中databricks笔记本
我如何转换这回sparksql表,我可以运行SQL查询?
答
您可以使用createReplaceTempView创建表格。在你的情况下,它会像:
dataframe.createOrReplaceTempView("mytable")
这之后您可以使用SQL 查询您mytable
。
如果你的火花版本是1.6.2≤你可以使用registerTempTable
当我运行'dataframe.createOrReplaceTempView(“MYTABLE”)' 我得到以下错误: “数据帧”对象有没有属性' createOrReplaceTempView' – Semihcan
你使用的是什么版本的Apache spark? –
我正在使用1.5.2 – Semihcan