CDH5离线安装---使用的版本是5.11.1
linux系统:centos 7
第一步 下载软件
需要下载的软件有下面5个,都已经表明下载地址:
cm5.11.1-centos7.tar.gz 的下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.11.1/cm5.11.1-centos7.tar.gz
cloudera-manager-installer.bin 的下载地址:http://archive.cloudera.com/cm5/installer/5.11.1/cloudera-manager-installer.bin
CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json这三个文件的下载地址为:http://archive.cloudera.com/cdh5/parcels/5.11.1/下面,注意区别(有el7的代表的是centos7的),我们就下载含有el7的文件和manifest.json文件。
第二步 Linux基本配置(所有机器)
四台服务器(192.168.30.130 ----master.lwb.com,192.168.30.131---slave1.lwb.com,192.168.30.132---slave2.lwb.com,192.168.30.133-slave3.lwb.com),192.168.30.130 作为集群的master(包括NameNode和Hmaster),其他作为datanode和regionServer)。
1, 配置hostname
在192.168.30.130上执行:hostnamectl set-hostname master.lwb.com
在192.168.30.131上执行:hostnamectl
set-hostname slave1.lwb.com
在192.168.30.132上执行:hostnamectl
set-hostname slave2.lwb.com
在192.168.30.133上执行:hostnamectl
set-hostname slave3.lwb.com
2,修改hosts文件(所有机器)
使用:vi /etc/hosts 打开hosts文件,把下面的内容添加到hosts文件中
192.168.30.130 master.lwb.com
192.168.30.131 slave1.lwb.com
192.168.30.132 slave2.lwb.com
192.168.30.133 slave3.lwb.com
3,关闭防火墙(所有机器):执行这两命令:(1)systemctl stop firewalld.service (2)systemctl disable firewalld.service
4,关闭selinux(所有机器), vi /etc/selinux/config,配置如下
5,配置ssh(所有机器)
1.在每台机器上面执行(ssh-****** -t rsa),然后一路enter下去
2.把192.168.30.131,192.168.30.132,192.168.30.133三台服务器下面的/root/.ssh/ id_rsa.pub文件复制到192.168.30.130的/root/.ssh/ 的目录里面。
192.168.30.131 上执行:scp id_rsa.pub [email protected]:/root/.ssh/ id_rsa.pub.slave1
192.168.30.132 上执行:scp id_rsa.pub [email protected]:/root/.ssh/ id_rsa.pub.slave2
192.168.30.133 上执行:scp id_rsa.pub [email protected]:/root/.ssh/ id_rsa.pub.slave3
3,把每个id_rsa.pub都写入authorized_keys,在192.168.30.130上执行下面的命令
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave1 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave3 >> /root/.ssh/authorized_keys
6 在192.168.30.130上面上安装httpd : yum install –y httpd 配置开机启动 :systemctl enable httpd.service 启动:systemctl start httpd.service
第三步 配置CDH5.11.1本地源
1,在/var/www/html下创建parcels目录,把刚才下载的CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json上传到/var/www/html/parcels目录下,
把CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1修改为CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha
访问以下:http://192.168.30.130/parcels 路径,看看是否列出刚才那三个文件的名称。
2,把cm5.11.1-centos7.tar.gz,cloudera-manager-installer.bin文件上传到192.168.30.130服务器上面,
在/var/www/html下创建cm5/redhat/7/x86_64/ 目录 mkdir -p cm5/redhat/7/x86_64/
把cm5.11.1-centos7.tar.gz 解压到 /var/www/html/cm5/redhat/7/x86_64/目录下
访问一下:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ 能列出文件目录,则安装成功。
3,配置本地yum源
vi /etc/yum.repos.d/cloudera-manager.repo,输入下面的内容:
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
enabled=1
gpgcheck=0
保持退出,注意baseurl就是刚才能访问的那个路径
第四部:安装
1,给cloudera-manager-installer.bin添加执行权限
chmod 777 ./cloudera-manager-installer.bin
执行该文件: ./cloudera-manager-installer.bin 一路的选择next ,yes 安装下去,大概2到5分钟安装完成。
大概在等个2到5分钟(cloudera 服务启动比较慢),在浏览器上输入192.168.30.130:7180 出现下面的界面:
用户名和密码都是:admin
选择:
在这里把四个服务器的IP地址填进去,中间用逗号分开,也可以用刚才配置的hostname,点击搜索就会列出服务器的ip地址和hostname,点击继续
选择存储库,
我们选择使用Parcel,然后选择更多选项,出现如下图
在“远程Parcel存储库URL”中删除只留一个,点击后面的“-”号删除,修改为http://192.168.30.130/parcels(也可以是http://master.lwb.com),结果如下:
点击保存更改后,
然后界面变为这个,注意对比:
选择自定义存储库:输入:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ ,也可以是http://master.lwb.com/cm5/redhat/7/x86_64/cm/5.11.1/ (推荐都使用IP地址)
后面的步骤都比较简单,按着提示就可以完成了,有时间再慢慢写出来,时间慢。。。