Hadoop 伪分布式环境搭建

一.安装虚拟机

二.安装linux操作系统

1.下载centos镜像文件

2.安装centos

2.1创建虚拟机
2.2配置操作系统

我选择了桥接模式

3.修改主机名

1:vi /etc/hostname
Hadoop 伪分布式环境搭建
2:hostnamectl set-hostname
3.hostname查看当前主机名

Hadoop 伪分布式环境搭建

4.获取IP地址

1.ip addr
Hadoop 伪分布式环境搭建
ens33是与外部通信的网卡,可以看到ip地址192.168.5.11

5.添加主机与ip映射

1.输入指令
Hadoop 伪分布式环境搭建
2.在文件中添加
Hadoop 伪分布式环境搭建

6.关闭防火墙

1.输入指令
Hadoop 伪分布式环境搭建

7.创建目录

1.创建两个文件目录
分别为:/opt/module和/opt/software

三.远程连接

1.shell连接虚拟机

1.填ip地址,用户名,密码
2.sftp把jdk,hadoop压缩包文件传输到虚拟机
put 文件路径 文件名

mac自带
Hadoop 伪分布式环境搭建
把未解压的传到/opt/module下

四. 安装和配置JDK

1.安装JDK

1.1解压JDK
mv 文件名 路径
tar -zxvf jdk~.tar.gz

解压成功的JDK移到/opt/software下
Hadoop 伪分布式环境搭建
1.2修改文件名
mv 原文件名 新文件名
Hadoop 伪分布式环境搭建

2.配置jdk环境变量

2.1输入命令
Hadoop 伪分布式环境搭建
2.2配置环境
Hadoop 伪分布式环境搭建
2.3.重新加载/etc/profile
Hadoop 伪分布式环境搭建
2.4.查看当前jdk版本
Hadoop 伪分布式环境搭建

五.安装与配置Hadoop

1.安装hadoop

1.1解压hadoop

mv 文件名 路径
tar -zxvf hadoop-2.6.0.tar.gz
解压成功的JDK移到/opt/software下

1.2修改文件名
mv 原文件名 新文件名

2.配置hadoop环境变量

2.1输入命令
Hadoop 伪分布式环境搭建
2.2环境配置
Hadoop 伪分布式环境搭建
2.3重新加载/etc/profile
Hadoop 伪分布式环境搭建
2.4查看hadoop版本
Hadoop 伪分布式环境搭建

3.配置hadoop

3.1进入到hadoop配置文件中
Hadoop 伪分布式环境搭建
3.2配置hadoop-env.sh
Hadoop 伪分布式环境搭建
3.3将JAVA_HOME改为jdk安装路径
Hadoop 伪分布式环境搭建
3.4配置core-site.xml
Hadoop 伪分布式环境搭建
3.5.配置hdfs-site.xml

Hadoop 伪分布式环境搭建
3.6.配置mapred-site.xml

3.6.1.修改下名字

mv mapred-site.xml.template mapred-site.xml

Hadoop 伪分布式环境搭建3.7.配置yarn.site.xml
Hadoop 伪分布式环境搭建
3.8.格式化hdfs

切到bin目录下

Hadoop 伪分布式环境搭建
Hadoop 伪分布式环境搭建
格式化成功

Hadoop 伪分布式环境搭建
3.9.启动hadoop-daemon.sh start namenode
Hadoop 伪分布式环境搭建
3.10.启动hadoop-daemon.sh start datanode
Hadoop 伪分布式环境搭建
3.11.启动yarn-daemon.sh start resourcemanager
Hadoop 伪分布式环境搭建
3.12.启动yarn-daemon.sh start nodemanager
Hadoop 伪分布式环境搭建
或者start-all.sh

3.13.用jps查看启动进程

Hadoop 伪分布式环境搭建
3.14.在浏览器中输入192.168.5.11.50070或者端口号8088
Hadoop 伪分布式环境搭建
Hadoop 伪分布式环境搭建