您的位置: 首页  >  文章  >  CDH5 大数据实验平台搭建笔记

CDH5 大数据实验平台搭建笔记

分类: 文章 • 2025-02-04 16:15:04
本实验环境4台linux16.04 都是安装在VMware Workstation的虚拟机。
分别是 cdh01 cdh02 cdh03 cdh04   其中 cdh01是主服务器  主服务器25G+8G 其它20G+4G 官方建议主机名小写


以下四台机器都需要
1.修改root密码  一样的密码

2. apt-get install openssh-server openssh-client

apt-get install ntp


3.在主机 ssh-****** -t rsa  生成 /root/.ssh/下  **文件和私钥文件 id_rsa,id_rsa.pub


4. 修改 vi /etc/ssh/sshd_config
增加 PermitRootLogin yes  允许root远程登录
/etc/init.d/ssh restart重启服务

5.从CDH01复制id_rsa.pub到其他机器的 /root/.ssh/authorized_keys
在CDH02,CDH03,CDH04建立目录 /root/.ssh
scp id_rsa.pub  [email protected]:/root/.ssh/authorized_keys
6. 修改hosts文件
vi /etc/hosts
vi /etc/hostname
192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04


7. 下载jdk1.8 到 /var/cache/apt

网上下载oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安装下载的文件

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb
输入javac -version 测试  显示版本 javac 1.8.0_20


8.在 CDH01 上安装 mysql
sudo apt-get install mysql-server -y
apt-get isntall mysql-client -y
sudo apt-get install libmysqlclient-dev -y
sudo netstat -tap | grep mysql



vi /etc/mysql/mysql.cnf.d/mysqld.cnf
修改以下一行
bindaddress = 0.0.0.0   (允许远程登录mysql)


mysql -u root -p 进入mysql
grant all privileges on *.* to [email protected]'%' identified by '密码***' with grant option;

flush privileges;


9. cloudera-manager安装
 
在CDH01目录 /var/cache/apt/archives
cd /var/cache/apt/archives
设置 apt数据源 
curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key | sudo apt-key add 

确认：/etc/apt/sources.list.d/cloudera_xenial.list文件为以下内容：
deb [arch=amd64] https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/ xenial-cm5.13.1 contrib

apt-get update
apt-get install cloudera-manager-server 



10、修改Cloudera-Manager-Server的配置文件db.properties，设置MySql连接
　　修改Cloudera-Manager-Server的配置文件db.properties,设置刚才我们在（4.7）Mysql中创建的cmf数据库、用户名、密码（4台机器都要执行）

[email protected]:~# vi /etc/cloudera-scm-server/db.properties 
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm


11. 在cdh01主机
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
mv  mysql-connector-java-5.1.45-bin.jar /usr/share/cmf/lib


12.建立cm数据库
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm


13.建立用户（这个好像也可以自动建立，无需手动建立用户） 
useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home  --shell=/bin/false  -comment "Cloudera SCM User" cloudera-scm

也可以根据cloudera平台运行后，上面提示CDH01未建立hive等...几个用户和用户组，分别再建立

useradd Hive 

....

14. ufw disable    (关闭防火墙)



15.启动主服务器服务
service cloudera-scm-server start 
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一会  才能看到7180服务已启动)


16.复制cloudera-manager的安装文件到其它机器
cd /var/cache/apt/archives
scp cloudera* [email protected]:/var/cache/apt/archives
scp cloudera* [email protected]:/var/cache/apt/archives
scp cloudera* [email protected]:/var/cache/apt/archives

17. http://192.168.196.145:7180   admin/admin

在浏览器打开以上网址，账号密码是admin/admin,然后按向导开始安装 cloudera 平台及各组件。

18. 在安装向导中安装了各机的cloudera-manager-agent 后，会在各机生成 /opt/cloudera/parcel-repo目录，不要点下一步分配，复制以下文件到 各机的/opt/cloudera/parcel-repo

CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名为 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

复制mysql-connector-java-5.1.45-bin.jar 到各机的 /usr/share/cmf/lib

19.继续按向导安装完毕

以下是成功安装后的运行界面：

CDH5 大数据实验平台搭建笔记

CDH5 大数据实验平台搭建笔记



相关推荐