spark环境的搭建

打开虚拟机

spark环境的搭建

下载安装文件spark软件包

将软件包放置到linux系统中

spark环境的搭建

在指定路径下解压spark安装包

因为是图形化界面,所以好操作很多,像在Windows环境下一样将spark文件移入需要的路径下,并解压,重命名为spark
spark环境的搭建

修改spark-env.sh文件

先复制2文件,再把复制之后的文件重命名为1文件名也就是spark-env.sh,然后直接打开文件,修改完后保存就可以了。添加的内容如图所示:

spark环境的搭建
spark环境的搭建

这个路径要和自己的hadoop安装路径相同(如果不记得自己的hadoop环境变量的话,可以打开自己的环境变量看看 cat etc/profile)

修改./bashrc文件spark环境的搭建

spark环境的搭建

路径要按自己实际的来

刷新变量使之生效

spark环境的搭建

验证spark是否安装成功

spark环境的搭建

太长了,我们运行一个别的

spark环境的搭建
。。。。。
spark环境的搭建
虽然进入了Scala,但我们觉得好像还是哪里出了点问题,于是查看spark中的文件夹和当时配置时的环境变量,发现有一个地方写错了。我们把python3中的3去掉,spark环境的搭建

重新刷新该文件

然后启动pyspark
spark环境的搭建
启动成功。