spark开发环境——PyCharm开发python的spark项目
1.点击运行-编辑结构
2.在python的环境变量中新加一个PYTHONPATH
在其值中加入本地的spark中的python文件夹
D:\spark\spark-2.2.0-bin-hadoop2.6\python
以及本地的spark中的python文件夹中的lib下的py4j-0.10.4-src.zip
D:\spark\spark-2.2.0-bin-hadoop2.6\python\lib\py4j-0.10.4-src.zip
3.项目关联py4j-some-version.zip和pyspark.zip两个zip包
打开文件-设置-项目-ProjecStructure，选择Add Content Root，选中spark安装目录下的python中的lib中的两个zip包