Hadoop完全分布式搭建
首先参照上篇先熟练搭建单节点的伪分布式
1 克隆
我们需要用到多个虚拟机。重新安装会花费大量的时间,此时,可以通过vmware虚拟机自带的功能快速克隆出完全相同的系统。新克隆出来的虚拟系统的IP和MAC地址和原来的系统是不一样的,因为vmware会自己检查虚拟磁盘把硬件信息进行修改,如果是直接复制就会一样,这就是克隆的好处。
前提:被克隆的虚拟机系统要处于关闭状态。
1)
2)
3)
4)
5)重新起名
6)
7)
2 克隆后的配置
2.1 修改主机名
克隆完成后,开启我们刚才克隆的虚拟机,以root用户登录,先把主机名从hadoop003改为hadoop004,防止与其他主机冲突,这是通过修改配置文件的方式,机器重启后才能生效。
2.2 修改网卡
由于redhat和centos的udev的管理机制,网卡变成了eth1,如果我们想要改回eth0,可以按照如下步骤进行修改:
1)将eth1网卡改为eth0
[[email protected] ~]# vi /etc/udev/rules.d/70-persistent-net.rules
2)修改网络配置
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
3)重启网络服务
先卸载掉网卡,再加载网卡,最后重启网络服务
[[email protected] ~]# modprobe -r e1000
[[email protected] ~]# modprobe e1000
[[email protected] ~]# service network restart
关闭环回接口: [确定]
弹出环回接口: [确定]
弹出界面 eth0: 活跃连接状态:**的
活跃连接路径:/org/freedesktop/NetworkManager/ActiveConnection/1
[确定]
重启机器
3 修改主机名和slaves文件
1.修改主机名
vi /etc/hosts
IP地址 主hostname
IP地址 从hostname1
IP地址 从hostname2
注:主节点修改完后,可使用
scp /etc/hosts hadoop2:/etc命令快捷发送覆盖从节点的hosts文件
2.修改主从节点的/etc/hadoop/slaves文件
文件中写入三个节点的hostname
同上,配置一个后可使用快捷发送的方式
4 设置免密登录
为主节点设置免密登录以及与从节点之间设置免密登录,在主节点服务器上
ssh hadoop1(主hostname)
ssh hadoop2(从hostname1)
ssh hadoop3(从hostname2)
配置完毕后,再输入ssh 主机名 验证,三次都显示如下情况即为成功
5 删除克隆的从结点上的data目录
删除hadoop2和hadoop3的data目录
6 启动查看
在主节点使用 start-all.sh 命令启动服务
查看主节点 jps
查看从节点 jps
datanode
nodemanager
即为成功