【2019全国职业技能大赛大数据技术】任务一:1-Hadoop 相关组件安装部署(上)
前言:
此博客专栏:一个陆续更新有关【‘全国职业技能大赛“大数据应用技术”】的专题,谢谢大家的支持,建议收藏以防迷路,加油共勉!
环境要求:
编号 | 主机名 | 类型 | 用户 | 密码 |
1 | master | 主节点 | root | passwd |
2 | slave1 | 从节点 | root | passwd |
3 | slave2 | 从节点 | root | passwd |
一、 Hadoop 部署
本环节需要使用
root
用户完成相关配置,安装
Hadoop
需要配置前置环境,
具体部署要求如下:
1、 解压 JDK 安装包到/usr/local/src 路径,并配置环境变量;截取环境变量配置文件截图。
具体任务要求:
1
) 将
/h3cu
下的
JDK
包解压到
/usr/local/src
,命令(命令中使用绝对路径)截
图并保存;
2
) 设置
JDK
环境变量,并使环境变量只对当前
root
用户生效;将环境变量配
置内容截图并保存;
3
) 从
master
复制
JDK
环境变量文件到
slave1
、
slave2
节点,命令和结果截图并
保存。
2、 环境中已创建 ssh **,实现主节点与从节点的无密码登录;截取主节点登 录其中一个从节点的结果。
具体任务要求:
1
) 根据环境中已配置完成的
ssh
**登录,实现从
master
登录到
slave1
,命
令和结果截图并保存。
3、 需安装 Zookeeper 组件,并与 Hadoop HA 环境适配。
具体任务要求:
1
)
Zookeeper
配置成功后,在
slave2
节点启动
Zookeeper
,查看
Zookeeper
状态,
命令和结果截图并保存。
4、 启动两个 namenode 和 resourcemanager;
具体任务要求:
1
) 在
Zookeeper
、
Hadoop HA
配置成功后,在
master
节点启动并查看进程
状态截图保存。
5、 使用查看进程命令查看进程,并截图(要求截取主机名称),访问两个 namenode 和 resourcemanager web 界面,并截图保存(要求截到 url 状态)。
具体任务要求:
1
)
Hadoop HA
配置成功后,在
slave1
节点查看进程,并截图保存;
2
)
Hadoop HA
配置成功后,
WEB
登录主备
namenode
,并截图保存;
3
)
Hadoop HA
配置成功后,
Web
登录主备
resourcemanager
,并截图保存。
6、 终止 active 的 namenode 进程,并使用 jps 查看各个节点进程(要求截上主机名称),访问两个 namenode 和 resourcemanager web 界面。并截图保存(要求截到 url 和状态)。
具体任务要求:
1
) 终止
active
节点的
namenode
进程,并查看该节点进程,将终止命令和查
看进程结果截图;
2
)
namenode
切到备节点,截图
url
和状态保存。
7、 重启刚才终止的 namenode,并查看 jps 进程,截图访问两个 namenode 的 web 界面,并截图保存。
具体任务要求:
1
) 重启刚才终止的
namenode
,并查看
jps
进程,并截图保存;
2
) 截图访问两个
namenode
的
web
界面,并截图保存。
(答案待更新,有需要的小伙伴可评论区回复‘加油’获取。)