hadoop虚拟机环境搭建图文讲解(二)

搭建集群
之所以要搭建集群是因为,我们的服务器处理大量数据时,一旦出现宕机就可以立即换到另一台服务器,继续我们的数据处理,这点切换的过程我们几乎是察觉不到的,这就完美解决了服务器卡死的问题,当然发生这样情况的概率是极低的,所以我们只需要搭建三台服务器即可

  1. 配置网卡
    因为我们的网络每次改变都会更改一次ip地址,所以我们要自己配一个固定的ip地址,以免更换网络时我们的数据丢失
    登陆成功后,使用系统自带的编辑器vi打开配置目录
    vi /etc/sysconfig/network-scripts/ifcfg-eth0
    hadoop虚拟机环境搭建图文讲解(二)
    打开后如图所示,这里我们需要修改的
    HWADDR这一项删掉我们不需要,还有UUID也要删掉,ONBOOT=no 改为ONBOOT=yes,注意yes要用小写,加上子网掩码NETMASK=255.255.255.0,BOOTPROTO的值改为静态的static,还没完
    hadoop虚拟机环境搭建图文讲解(二)
    打开文件右边的编辑,向下看有一个虚拟网络编辑器,hadoop虚拟机环境搭建图文讲解(二)
    打开后如图,找到NET设置,找到网关ip记下来,关闭
    回到我们的配置文件,增加两项,GATEWAY=刚才我们记下的网关,IPADDR=前三组和网关一样,最后一组自己随意设置,最后再增加DNS1=114.114.114.114(百度的dns),DNS2=我们自己的网关Ip,稍后用作测试。写完之后按esc键退出,然后shift+:然后输入w(保存)q(退出)后enter保存退出。
    hadoop虚拟机环境搭建图文讲解(二)
    配置主机名 vi /etc/sysconfig/network hadoop虚拟机环境搭建图文讲解(二)
    这里面只有两项,我们只需要看最后一项,更改其主机名以便接下来配置集群的操作
    HOSTNAME=hadoop01,wq保存退出,注意,一定要把防火墙关掉
    能够用到的配置还差一个jdk,完成之后,接下来再创建两个虚拟机搭建集群
    2.配置jdk
    首先试一下我们自己配置的ip是否能够ping通过,再ping百度的地址
    hadoop虚拟机环境搭建图文讲解(二)
    可以看到自己的地址ping通过了,再同样的方法ping百度就可以了,记得要用ctrl+c停止,不然就一直等着吧。
    ping通之后,打开我们的终端模拟器,我这里我用的时Mobaxterm_Personal_10.5,使用他的原因呢,功能比较全面涵盖了Xshell,Crt和Putty的功能,在我个人看来时比较全面的
    下载地址:https://moba.en.softonic.com/
    https://mobaxterm.mobatek.net/
    这两个我也忘了是哪一个了,不过好像都ok。
    打开软件后,点击new session
    hadoop虚拟机环境搭建图文讲解(二)点击之后输入刚才自己配制的ip地址,还有用户名root就可以登陆了,点击ok
    hadoop虚拟机环境搭建图文讲解(二)直接将jdk的压缩包拖到root用户下面
    hadoop虚拟机环境搭建图文讲解(二)
    执行 tar -zxvf jdk-8u111-linux-x64.tar.gz -C /usr/local 将我们的jdk压缩包解压到c盘根目录usr下的local文件夹里
    hadoop虚拟机环境搭建图文讲解(二)解压完成后,开始配置系统变量
    配置系统环境变量 vi /etc/profile
    在文件末尾添加
    export JAVA_HOME=/usr/local/jdk1.8.0_102
    export PATH=$PATH:PATH:JAVA_HOME/bin
    JAVA_HOME的路径一定是你解压后jdk的所处路径
    hadoop虚拟机环境搭建图文讲解(二)
    书写完成后保存退出
    之前忘了一步,修改了ip之后需要重启网络
    service network restart
    hadoop虚拟机环境搭建图文讲解(二)
    如果重启网络不成功,就重启一下服务器
    reboot
    hadoop虚拟机环境搭建图文讲解(二)

目前为止需要配置的东西结束了,接下来开始搭建集群

3.克隆
关闭当前虚拟机,选中当前虚拟机>右键>管理>克隆>下一步
选中虚拟机的当前状态
hadoop虚拟机环境搭建图文讲解(二)下一步,选中完整克隆,
hadoop虚拟机环境搭建图文讲解(二)下一步,修改虚拟机名称为Hadoop02,位置同样,自定义,点击完成hadoop虚拟机环境搭建图文讲解(二)克隆完成后进行两个配置,
删除网卡 hadoop虚拟机环境搭建图文讲解(二)
进入之后只留下一个即可
hadoop虚拟机环境搭建图文讲解(二)把NAME=“eth1"改为"eth0”,然后wq保存退出,克隆这一步就完成了

暂时就到这里吧,有空再写