hadoop虚拟机环境搭建图文讲解(二)
搭建集群
之所以要搭建集群是因为,我们的服务器处理大量数据时,一旦出现宕机就可以立即换到另一台服务器,继续我们的数据处理,这点切换的过程我们几乎是察觉不到的,这就完美解决了服务器卡死的问题,当然发生这样情况的概率是极低的,所以我们只需要搭建三台服务器即可
- 配置网卡
因为我们的网络每次改变都会更改一次ip地址,所以我们要自己配一个固定的ip地址,以免更换网络时我们的数据丢失
登陆成功后,使用系统自带的编辑器vi打开配置目录
vi /etc/sysconfig/network-scripts/ifcfg-eth0
打开后如图所示,这里我们需要修改的
HWADDR这一项删掉我们不需要,还有UUID也要删掉,ONBOOT=no 改为ONBOOT=yes,注意yes要用小写,加上子网掩码NETMASK=255.255.255.0,BOOTPROTO的值改为静态的static,还没完
打开文件右边的编辑,向下看有一个虚拟网络编辑器,
打开后如图,找到NET设置,找到网关ip记下来,关闭
回到我们的配置文件,增加两项,GATEWAY=刚才我们记下的网关,IPADDR=前三组和网关一样,最后一组自己随意设置,最后再增加DNS1=114.114.114.114(百度的dns),DNS2=我们自己的网关Ip,稍后用作测试。写完之后按esc键退出,然后shift+:然后输入w(保存)q(退出)后enter保存退出。
配置主机名 vi /etc/sysconfig/network
这里面只有两项,我们只需要看最后一项,更改其主机名以便接下来配置集群的操作
HOSTNAME=hadoop01,wq保存退出,注意,一定要把防火墙关掉
能够用到的配置还差一个jdk,完成之后,接下来再创建两个虚拟机搭建集群
2.配置jdk
首先试一下我们自己配置的ip是否能够ping通过,再ping百度的地址
可以看到自己的地址ping通过了,再同样的方法ping百度就可以了,记得要用ctrl+c停止,不然就一直等着吧。
ping通之后,打开我们的终端模拟器,我这里我用的时Mobaxterm_Personal_10.5,使用他的原因呢,功能比较全面涵盖了Xshell,Crt和Putty的功能,在我个人看来时比较全面的
下载地址:https://moba.en.softonic.com/
https://mobaxterm.mobatek.net/
这两个我也忘了是哪一个了,不过好像都ok。
打开软件后,点击new session点击之后输入刚才自己配制的ip地址,还有用户名root就可以登陆了,点击ok
直接将jdk的压缩包拖到root用户下面
执行 tar -zxvf jdk-8u111-linux-x64.tar.gz -C /usr/local 将我们的jdk压缩包解压到c盘根目录usr下的local文件夹里解压完成后,开始配置系统变量
配置系统环境变量 vi /etc/profile
在文件末尾添加
export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$JAVA_HOME/bin
JAVA_HOME的路径一定是你解压后jdk的所处路径
书写完成后保存退出
之前忘了一步,修改了ip之后需要重启网络
service network restart
如果重启网络不成功,就重启一下服务器
reboot
目前为止需要配置的东西结束了,接下来开始搭建集群
3.克隆
关闭当前虚拟机,选中当前虚拟机>右键>管理>克隆>下一步
选中虚拟机的当前状态下一步,选中完整克隆,
下一步,修改虚拟机名称为Hadoop02,位置同样,自定义,点击完成
克隆完成后进行两个配置,
删除网卡
进入之后只留下一个即可把NAME=“eth1"改为"eth0”,然后wq保存退出,克隆这一步就完成了
暂时就到这里吧,有空再写