填坑日记---linux环境安装python3.7.3及pyspark

系统：CentOS7 64位(Python version 2.7.5)
目的：安装pyspark使其启动的默认python版本为python3

python3.7.3

（1）首先安装依赖包gcc（管理员或其权限下运行）

yum -y install gcc  

（2）安装其他依赖包(可以不安装，但是可能会安装过程中报错)：

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

（3）在/usr下下载python

cd /usr/
wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

（4）解压缩

 tar -xvf Python-3.7.3.tar.xz

（5）建立空文件夹，放置python安装程序

mkdir /usr/local/python3

（6）配置，指定软件的安装目录，编译与安装：

 ./configure prefix=/usr/local/python3
 make && make install

（7）建立软连接：

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip

（8）检查是否成功

python3 -V
pip3 -V

pyspark2.4.2

（1）先安装java

yum install java

（2）创建一个spark目录

mkdir /usr/spark
cd /usr/spark

（3）下载pyspark包

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

（4）解压

tar -zxvf spark-2.4.2-bin-hadoop2.7.tgz

（5）配置spark环境变量

vi /etc/profile

在profile文件中最后一行写入：

PATH=/usr/spark/spark-2.4.2-bin-hadoop2.7/bin:$PATH

source /etc/profile
echo $PATH

环境变量设置成功
（6）启动

pyspark