离线安装cloudera manager和cloudera hadoop(cdh5.10.0)

对于要学习大数据的同学来说，hadoop可以说是肯定要接触的，而环境搭建是避免不了的。对于快速的傻瓜式搭建分布式环境，cloudera manager是一个很好的选择。下面进行详细的讲解

1 相关操作系统和软件：

1.1 虚拟软件：vmware

1.2 操作系统：Oracle Linux 7 Update 4 for x86 64 bit V921569-01.iso

2.3 下载Cloudera Manager安装所需的RPM包：

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.10.0/RPMS/x86_64/（下载路径下的所有内容）

1.4 下载Cloudera Hadoop所需的parcel文件：

（下载对应操作系统的el7版本和manifest.json文件，并将sha1改为sha）

http://archive.cloudera.com/cdh5/parcels/5.10.0/

CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel.sha1 manifest.json

1.5 下载Cloudera Manager Repository：（CM版本库）

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

注：操作系统和CM CH的版本可以根据自己的情况修改，安装步骤相同，但安装的版本号要和操作系统的一样，操作系统是6版本的就下载el6的CM CH包，7版本的就下载el7的CM CH包。

配置两台虚拟机，一个主，一个从。（电脑内存允许的话，建议三台）主节点建议给4G+的内存

为了测试安装方便，本次所有操作都是在root用户下进行的

2 环境准备

2.1 配置主机名（所有节点）

vim /etc/hostname

bigdata-master.cdh.com master

vim /etc/sysconfig/network

bigdata-master.cdh.com master

从节点换成对应从节点的主机名

2.2 设置网络开机自启（所有节点）

cd /etc/sysconfig/network-scripts
vim ifcfg-ens33

然后vim所使用的网口，将ONBOOT=no改为ONBOOT=yes

2.3 配置/etc/hosts文件（所有节点）
vi /etc/hosts

127.0.0.1 localhost.localdomain localhost

192.168.110.140 bigdata-master.cdh.com master

192.168.110.141 bigdata-worker.cdh.com worker

2.4 关闭防火墙（所有节点）
systemctl stop firewalld.service

systemctl disable firewalld.service

2.5 disabled 关闭SELinux（所有节点）
vim /etc/selinux/config

修改SELinux=disabled。重启后方可生效

      2.6 设置ssh免密登陆（主到从）
        master:
ssh-****** -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys [email protected]:~/
cd .ssh
ssh-agent bash
ssh-add ~/.ssh/id_rsa
        worker：
ssh-****** -t rsa
mv authorized_keys ~/.ssh/

在master节点验证：ssh worker（验证不成功也没有关系，关机重启后就可以了）

2.7 卸载系统自带的OpenJDK（所有节点）
rpm -qa |grep java

yum remove java*

      2.8 安装jdk（所有节点）（没有安装包的话可以到oracle网站去下载，需要1.7+版本）
     mkdir /usr/java
  将 jdk 安装包上传至java文件夹 jdk-8u131-linux-x64.tar.gz
    解压文件 tar -zxvf jdk-8u131-linux-x64.tar.gz
     移除文件 rm -rf jdk-8u131-linux-x64.tar.gz
    授权 chmod +x /usr/java/jdk1.8.0_131/bin/*
     配置环境变量 vim ~/.bash_profile
#jdk
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
    source ~/.bash_profile
    验证 java -version

2.9 设置文件打开数量和用户最大的进程数（所有节点）

查看

ulimit -a

        ulimit -u
    >>设置
        vim /etc/security/limits.conf

添加内容如下：

        * soft nofile 65535
        * hard nofile 65535
        * soft nproc 32000

* hard nproc 32000

      2.10 设置时间同步（主到从）
    修改master节点的
        vim /etc/chrony.conf配置文件
        添加内容：
            allow 10.0.0.0/24
            bindcmdaddress 0.0.0.0
            local stratum 10
                保存退出后启动服务
            systemctl enable chronyd.service
            systemctl start chronyd.service
    修改worker节点的
        vim /etc/chrony.conf配置文件