spark python草稿

=============================================================

首先是自己pip安装pyspark 报错，memery error。。虚拟机内存不够，由1.5g改为4g好了。

其次，不需要安装pyspark，通常也不会兼容，，

'JavaPackage' object is not callable错误解决办法

在windows的pycharm开发pyspark程序时，运行程序出现'JavaPackage' object is not callable错误

-------------------------------------------------------

原因：

是由于spark环境和开发环境不一致导致的

由于spark环境是spark2.0，但是安装的pyspark的python包是2.2

版本不一致

-------------------------------------------------------

解决办法：

1、卸载pyspark2.2 的包和py4j。

2、解压spark-2.0.0\python\lib目录下的py4j和pyspark jar包。

3、将解压后的py4j和pyspark复制到python的环境Lib/site-packages下。

4、OK

或者在目录：/usr/spark-1.6.1-bin-hadoop2.6/python/lib
py4j-0.9-src.zip  PY4J_LICENSE.txt  pyspark.zip

目录：：usr/lib/python/lib/site-packages

若果自带，最好卸载，然后重新拷贝。

=============================================================