实验题目 Hadoop完全分布式集群安装
实验要求
1、集群至少3节点(考虑电脑配置3节点或者4就可以)
2、详细记录实验步骤
3、详细记录出现的问题及解决方案
4、写一份实验心得
实验记录(步骤和问题)
1.创建虚拟机Hadoop2.0,设置密码
问题一:遇到问题,刚开始的时候设置的是数字键盘的密码,到登录的时候,就发现登录不上,开始以为是电脑的问题,建了有四个虚拟机才解决,
问题二:之前建的虚拟机要删掉,这个时候虚拟机关不掉,重启电脑五次,强制关掉,在D盘删掉多余的虚拟机。
2.能够打开虚拟机以后开始修改名字
主节点名字
在这里插入图片描述
3./ 问题三输入i开始键入,再按ESC:wq 可以退出
问题四:在配置中遇到yum源和config无法启动,在CentOS7中默认是不启动网卡的,统一进入配置文件查看网卡是否启动。
将最后一行末尾的NO改为YES即可
问题五:输入代码重启
4.下载net-tools和ntp
5.查看ip地址:192168.86.128
6.克隆Hadoop2.0
生成Hadoop2.1和Hadoop2.2
7.配置hosts文件,三个虚拟机都要配
8.关闭防火墙
9.配置ntp文件,只在hadoop2.0中进行
问题六:出现该图,图标消失,打不了字
问题七:从节点Hadoop2.2又打不开了o(╥﹏╥)o好烦
(后面的步骤没有实现)
10.在从节点中进行(Hadoop2.1和Hadoop2.2)
11.配置ssh免密
12.在Hadoop中登录Hadoop2.1,exit退出
就到这里了,后面就没法做了,从节点Hadoop2.2还没有打开,一直黑屏,打不开也关不了!!!
实验心得 问题一:遇到问题,刚开始的时候设置的是数字键盘的密码,到登录的时候,就发现登录不上,开始以为是电脑的问题,建了有四个虚拟机才解决,
问题二:之前建的虚拟机要删掉,这个时候虚拟机关不掉,重启电脑五次,强制关掉,在D盘删掉多余的虚拟机。
问题三输入i开始键入,再按ESC:wq 可以退出
问题四:在配置中遇到yum源和config无法启动,在CentOS7中默认是不启动网卡的,统一进入配置文件查看网卡是否启动。
问题五:输入代码重启
问题六:出现该图,图标消失,打不了字
问题七:从节点Hadoop2.2又打不开了o(╥﹏╥)o好烦
(后面的步骤没有实现)
电脑崩了打不开,重启一万次,我也崩了o(╥﹏╥)o
13.安装jdk
在三个里都创建 mkdir /usr/java
代码如下:
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
14.安装hadoop
创建 mkdir /usr/hadoop (三个)
加入代码:
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=HADOOP_HOME/lib
export PATH=HADOOP_HOME/bin
把里面的东西加到最后那一对里面
dfs.replication
2
dfs.namenode.name.dir
file:/usr/hadoop/hadoop-2.7.3/hdfs/name
true
dfs.datanode.data.dir
file:/usr/hadoop/hadoop-2.7.3/hdfs/data
true
dfs.namenode.secondary.http-address
master:9001
dfs.webhdfs.enabled
true
dfs.permissions
false
最后成品