python spark
修改python版本为python3
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=/usr/bin/python3
#export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=ipython
注意要在所有机器上都装python3，别问我怎么知道的。
如果要使用py-sklearn , 需要装sklearn，numpy, scipy，spark-sklearn等。