在CentOS环境下,使用PyCharm进行Spark开发
1 建立PyCharm与Spark的连接
在Run->Edit Configuration中添加环境变量
其中PYTHONPATH和SPARK_HOME的值请前往/etc/profile文件中查看,这两个值是在配置Spark的环境时写入的。
2 实现代码自动补全
将 Spark中的spark-2.4.0-bin-hadoop2.7/python/pyspark文件夹(注意,不是 bin/pyspark可执行文件),复制到Python安装目录下的python/lib/python3.7/site-packages中。
参考网址
[1] PyCharm搭建Spark开发环境 + 第一个pyspark程序
[2] 使用PyCharm配置Spark的Python开发环境