Hadoop完全分布式搭建

首先参照上篇先熟练搭建单节点的伪分布式

1 克隆

我们需要用到多个虚拟机。重新安装会花费大量的时间,此时,可以通过vmware虚拟机自带的功能快速克隆出完全相同的系统。新克隆出来的虚拟系统的IP和MAC地址和原来的系统是不一样的,因为vmware会自己检查虚拟磁盘把硬件信息进行修改,如果是直接复制就会一样,这就是克隆的好处。

前提:被克隆的虚拟机系统要处于关闭状态。

1)

Hadoop完全分布式搭建

 

2)
Hadoop完全分布式搭建

3)

Hadoop完全分布式搭建

4)

Hadoop完全分布式搭建

5)重新起名

Hadoop完全分布式搭建

6)

Hadoop完全分布式搭建

7)

Hadoop完全分布式搭建

2 克隆后的配置

2.1 修改主机名

克隆完成后,开启我们刚才克隆的虚拟机,以root用户登录,先把主机名从hadoop003改为hadoop004,防止与其他主机冲突,这是通过修改配置文件的方式,机器重启后才能生效。

Hadoop完全分布式搭建

2.2 修改网卡

由于redhat和centos的udev的管理机制,网卡变成了eth1,如果我们想要改回eth0,可以按照如下步骤进行修改:

1)将eth1网卡改为eth0

[[email protected] ~]# vi /etc/udev/rules.d/70-persistent-net.rules

Hadoop完全分布式搭建

2)修改网络配置

[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

Hadoop完全分布式搭建

Hadoop完全分布式搭建

3)重启网络服务

先卸载掉网卡,再加载网卡,最后重启网络服务

[[email protected] ~]# modprobe -r e1000

[[email protected] ~]# modprobe e1000

[[email protected] ~]# service network restart

关闭环回接口:                                             [确定]

弹出环回接口:                                             [确定]

弹出界面 eth0: 活跃连接状态:**的

活跃连接路径:/org/freedesktop/NetworkManager/ActiveConnection/1

                                                           [确定]

Hadoop完全分布式搭建

重启机器

3 修改主机名和slaves文件

1.修改主机名

vi  /etc/hosts

IP地址 主hostname

IP地址 从hostname1

IP地址 从hostname2

注:主节点修改完后,可使用

scp /etc/hosts hadoop2:/etc命令快捷发送覆盖从节点的hosts文件

2.修改主从节点的/etc/hadoop/slaves文件

Hadoop完全分布式搭建

文件中写入三个节点的hostname

Hadoop完全分布式搭建

同上,配置一个后可使用快捷发送的方式

4 设置免密登录

为主节点设置免密登录以及与从节点之间设置免密登录,在主节点服务器上

ssh hadoop1(主hostname)

ssh hadoop2(从hostname1)

ssh hadoop3(从hostname2)

配置完毕后,再输入ssh 主机名  验证,三次都显示如下情况即为成功

Hadoop完全分布式搭建

5 删除克隆的从结点上的data目录 

删除hadoop2和hadoop3的data目录

Hadoop完全分布式搭建

6 启动查看

在主节点使用 start-all.sh 命令启动服务

查看主节点 jps

Hadoop完全分布式搭建

查看从节点 jps

datanode

nodemanager

即为成功