【2019全国职业技能大赛大数据技术】任务一:1-Hadoop 相关组件安装部署(上)

前言:

此博客专栏:一个陆续更新有关【‘全国职业技能大赛“大数据应用技术”】的专题,谢谢大家的支持,建议收藏以防迷路,加油共勉!

【2019全国职业技能大赛大数据技术】任务一:1-Hadoop 相关组件安装部署(上)

环境要求:

编号 主机名 类型 用户 密码
1 master 主节点 root passwd
2 slave1 从节点 root passwd
3 slave2 从节点 root passwd
 

一、 Hadoop 部署

本环节需要使用 root 用户完成相关配置,安装 Hadoop 需要配置前置环境,
具体部署要求如下:

1、 解压 JDK 安装包到/usr/local/src 路径,并配置环境变量;截取环境变量配置文件截图。

具体任务要求:
1 ) 将 /h3cu 下的 JDK 包解压到 /usr/local/src ,命令(命令中使用绝对路径)截
图并保存;
2 ) 设置 JDK 环境变量,并使环境变量只对当前 root 用户生效;将环境变量配
置内容截图并保存;
3 ) 从 master 复制 JDK 环境变量文件到 slave1 slave2 节点,命令和结果截图并
保存。
 

2、 环境中已创建 ssh **,实现主节点与从节点的无密码登录;截取主节点登 录其中一个从节点的结果。

具体任务要求:
1 ) 根据环境中已配置完成的 ssh **登录,实现从 master 登录到 slave1 ,命
令和结果截图并保存。
 

3、 需安装 Zookeeper 组件,并与 Hadoop HA 环境适配。

具体任务要求:
1 Zookeeper 配置成功后,在 slave2 节点启动 Zookeeper ,查看 Zookeeper 状态,
命令和结果截图并保存。
 

4、 启动两个 namenode resourcemanager

具体任务要求:
1 ) 在 Zookeeper Hadoop HA 配置成功后,在 master 节点启动并查看进程
状态截图保存。
 

5、 使用查看进程命令查看进程,并截图(要求截取主机名称),访问两个 namenode 和 resourcemanager web 界面,并截图保存(要求截到 url 状态)。

具体任务要求:
1 Hadoop HA 配置成功后,在 slave1 节点查看进程,并截图保存;
2 Hadoop HA 配置成功后, WEB 登录主备 namenode ,并截图保存;
3 Hadoop HA 配置成功后, Web 登录主备 resourcemanager ,并截图保存。
 

6、 终止 active namenode 进程,并使用 jps 查看各个节点进程(要求截上主机名称),访问两个 namenode resourcemanager web 界面。并截图保存(要求截到 url 和状态)。

具体任务要求:
1 ) 终止 active 节点的 namenode 进程,并查看该节点进程,将终止命令和查
看进程结果截图;
2 namenode 切到备节点,截图 url 和状态保存。
 

7、 重启刚才终止的 namenode,并查看 jps 进程,截图访问两个 namenode 的 web 界面,并截图保存。

具体任务要求:
1 ) 重启刚才终止的 namenode ,并查看 jps 进程,并截图保存;
2 ) 截图访问两个 namenode web 界面,并截图保存。
 
(答案待更新,有需要的小伙伴可评论区回复‘加油’获取。)