spark集群配置

  1. 安装hadoop
    待补

  2. spark安装
    1)下载spark安装包 跟hadoop安装包放在一个目录下(目前目录如下)
    spark集群配置

    2)进入conf中,配置spark-env.sh spark-defaults-conf
    先从以上两个临时文件cp过来一份。然后进行修改

    a . vim ./spark-env.sh
    配置hadoop路径, python编辑版本spark集群配置
    b. spark-defaluts.conf
    配置节点数,节点内存大小
    spark集群配置