CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

     记录一下自己学习大数据的一些经历,全程使用root用户,参考资料《企业级大数据平台构建:架构与实现》。

     一、安装准备

     硬件环境

     两台家用电脑,一台台式机,使用VMWare安装两台CentOS 7虚拟机(主机名server1,server2);一台笔记本电脑,使用VMWare安装一台CentOS 7 虚拟机(server3)。为了方便,三台虚拟机网络连接使用桥接方式。这里注意一点,要在VMWare里进入“编辑->虚拟网络编辑器”,连接桥接到的网卡。开启虚拟机后互相PING一下,能PING通代表网络是通的。

CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)


     下载ambari和HDP离线安装包

     ambari和HDP的安装包有7G+大小,本人的网络环境不允许我直接通过互联网安装,所以这里选择下载离线安装包,再搭建本地仓库进行安装。出于个人习惯,本人习惯在WIN 7下使用下载工具先将安装包下载到电脑,再通过共享文件方式,直接拷贝到虚拟机。ambari安装包见下载地址,这里我选择的版本是ambari 2.4.0.1 ,HDP安装包选择的版本是2.5.3.0,下载地址见下图

CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

     二、安装Apache服务器

     这里我使用Apache来当作HTTP服务器,在server1上使用yum直接安装。

     yum install httpd

     安装成功后新建ambari和hdp两个目录,执行以下命令

     cd /var/www/html

     mkdir ./hdp

     mkdir ./ambari

     目录建好之后,将下载好的HDP和HDP-UTILS文件解压到/var/www/html/hdp目录下,然后将下载好的Ambari文件解压到/var/www/html/ambari目录下。

     启动Apache服务,至此,本地yum仓库的静态资源就准备好了。这里为了日后方便,我将httpd设置为开机启动。

     systemctl enable httpd.service

     访问一下localhost验证一下!

     CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

    三、创建yum源配置文件

    为了能让yum命令能够找到安装文件,新建两个仓库的配置文件。

    首先新建一个名为ambari.repo的配置文件,配置项如下:

    [Ambari-2.4.0.1]
    name=Ambari-2.4.0.1
    baseurl=http://server1/ambari/AMBARI-2.4.0.1/centos7/2.4.0.1-1
    gpgcheck=1
    gpgkey=http://server1/ambari/AMBARI-2.4.0.1/centos7/2.4.0.1-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
    enabled=1

    priority=1

   然后再新建一个名为hdp.repo的配置文件,配置项如下:

  [HDP-2.5.3.0]
  name=HDP-2.5.3.0
  baseurl=http://server1/hdp/HDP/centos7
  path=/
  enabled=1
  gpgcheck=0
  [HDP-UTILS-1.1.0.21]
  name=HDP-UTILS-1.1.0.21
  baseurl=http://server1/hdp/HDP-UTILS-1.1.0.21
  path=/
  enabled=1

  gpgcheck=0

  最后将这两个配置文件复制到所有准备安装Hadoop组件的服务器(server1,2,3)上的/etc/yum.repos.d目录下。


    四、关闭防火墙和SELinux

    执行以下命令关闭防火墙。

    systemctl stop firewalld.service #停止firewall

     systemctl disable firewalld.service #禁止firewall开机启动

    firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

     打开/etc/selinux/config,修改SELINUX=disabled来禁用SELinux。此项修改需要重启服务器后才能生效。

     五、配置主机表

     编辑/etc/hosts ,将主机一一添加进来。

     CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

     

     六、安装Ambari-Server

    虽然Ambari系统是由Ambari-Server和Ambari-Agent两个部分组成的。但是手动安装的时候只需要关注Ambari-Server就可以了,因为Ambari-Agent程序在通过Ambari系统新建集群的过程中会自动安装。

    在前面的准备中,我已经完成了Ambari本地yum源仓库的搭建工作,因此这里的Ambari-Server安装就很简单了,执行yum install ambari-server -y命令进行安装。之后便会进入自动安装步骤,yum安装程序会根据我们在ambari.repo中配置的信息找到Ambari-Server的安装文件进行安装。等待一会,看到类似如下信息,表明安装ambari-server成功。

    Installed:
     ambari-server.x86_64 0:2.4.0.1-1
     ……

   Complete!

    七、配置Ambari-Server

     执行ambari-server setup命令开始配置。

     程序会让我们指定Ambari的用户,这里我使用root用户,按回车继续。

     Customize user account for ambari-server daemon [y/n] (n)?

     接下来到检查JDK,这里我选择“1”。为什么选择1而不是3,因为在之前的操作中我选择了3,指定了自己安装的JDK,后面在ambari控制台注册主机时失败,失败原因是openssl问题,在网上查阅了很多资料,通过以下帖子解决点击打开链接,原因未明。

     Checking JDK...
     [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

     [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
    [3] Custom JDK

     Enter choice (1): 1
     数据库设置,为了方便我选择使用Amabri内置的Postgresql,直接回车继续。

     Enter advanced database configuration [y/n] (n)?

    看到如下类似信息时,表明ambari server配置完成了。 

    Ambari Server ’setup’ completed successfully.


     八、启动Ambari-Server

     执行ambari-server start命令启动Ambari-Server,打开浏览器,输入http://server1:8080/来访问Ambari,输入默认用户名:admin,密码:admin完成登录。