CDH部署

一、环境准备

三台（或多台服务器均配置）

a、相同JDK版本（安装路径，环境变量配置均保持一致）

b、网络配置完成，可相互ping通

ip等网络配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

hosts配置

vim /etc/hosts

c、关闭防火墙

service iptables stop

d、SSH互相免秘钥登录

ssh-****** -t dsa		//给出提示后全部直接回车

ssh-copy-id node01		//node01为要免密登录的目标地址
或：ssh-copy-id -i ~/.ssh/id_dsa.pub node01

e、SELINUX关闭

vim /etc/selinux/config
设置SELINUX=disabled

f、时间同步（ntpdate）

yum -y install ntpdate
ntpdate cn.ntp.org.cn
也可直接设置开机自动同步：chkconfig ntpdate on

g、安装配置mysql

说明：非server端可不用安装mysql

yum -y install mysql-server mysql-devel
service mysqld start
mysqladmin -u root  password 123456		//修改密码，可暂不修改
mysql -u root -p 123456 	//若没设置密码直接123456不写
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;			//进入mysql执行
flush privileges；

h、下载第三方依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

以上环境配置好后，建议拍快照，防止后续出错重新配置

二、安装

说明：server和agent端安装方式步骤有差别，需注意

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

1、安装Cloudera Manager Server、Agent（Server、Agent）

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户cloudera-scm（Server、Agent）

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM Agent（Server、Agent）

vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

设置server_host是哪台节点

4、配置CM Server数据库node01（Server）

拷贝mysql-connector-java.jar到 /usr/share/java/***意名字要改为这个mysql-connector-java.jar

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

5、创建Parcel目录

Server节点：

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、制作CDH本地源（Server）

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀（如：CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha），将hash码复制到文件中保存在当前目录下

7、启动（Server、Agent）

启动前进行：echo 0 > /proc/sys/vm/swappiness

此步骤不配置不影响目前安装，但后续需要配置，直接在此配置好

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
./cloudera-scm-agent start

8、访问server节点的7180端口

用户名：admin

密码：admin

CDH部署

如上界面，则安装成功（建议拍快照，后进行后续登录后的安装配置）

一、环境准备

二、安装

相关推荐