毕设环境搭建
3.1 Hadoop集群搭建
- 在三台主机上分别修改主机名和IP 。
- 配置免密码登录，node01、node02、node03节点可互相无密码登录。
-
每个节点都下载JDK，并配置环境变量。
-
上传Hadoop并配置Hadoop
a) 修改hadoop环境变量
b) 修改hadoop-env.sh配置文件
c) 修改hdfs-site.xml配置文件
d) 修改mapred-site.xml配置文件
e) 配置slaves
f) 让hadoop配置生效：source hadoop-env.sh
3.2 YARN集群搭建
1) 配置yarn-env.sh
-
配置yarn-site.xml
3.3 Spark集群搭建
-
下载Spark并部署到服务器解压
-
配置conf/spark-env.sh
-
配置slave
至此，所有集群环境搭建完成！