hadoop伪分布式环境搭建（centos 7）

虚拟机安装

1.虚拟机网络配置
（1）虚拟机设置

注：NAT机制
（2）NAT网关配置

Centos系统安装

版本：centos7 minimal
注意：注意安装时的网络配置

Centos基本设置

1.关闭图形界面：

init 3

配置文件：/etc/inittab

2.添加sudo用户权限：

root状态下：

vi /etc/sudoers

在

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL

后加入一行:

(name)    ALL=(ALL)       ALL

3.修改IP

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33    //ens后的数字不一定

修改

BOOTPROTO="static"
IPADDR="xxx.xxx.xxx.xxx"           //你的IP地址

保存后重启网络服务

sudo service network restart

4.更改主机名

sudo vi /etc/sysconfig/network

修改：

NETWORKING=yes
HOSTNAME=xxxx         //你的主机名

5.添加IP主机名映射

sudo vi /etc/hosts

添加相应ip和hostname

Centos安装JDK

1.上传JDK

windows端在gitbash上用sftp连接centos服务器

sftp  [email protected]    //用户名@ip地址
put   c:/java/jdk-11.0.1.tar.gz      //jdk路径 

2.解压JDK

3.添加环境变量

修改环境变量文件

sudo vi /etc/profile

在最后一行加上：

export JAVA_HOME=/home/hadoop1/app/jdk-11.0.1    //jdk目录
export PATH=$PATH:$JAVA_HOME/bin     

保存，加载环境变量文件

source /etc/profile

测试是否安装成功：

Centos安装hadoop

1.上传，解压hadoop

同上传解压JDK

2.hadoop文件结构

• bin：可执行脚本，常见的普通操作。
• sbin：系统相关脚本，跟hadoop服务的启动和停止相关的执行脚本。
• etc：配置文件。
• lib：hadoop本地库。
• include：和本地库相关的包含文件。
• share：jar包。

3.改配置

进入/etc/hadoop目录：

1. 修改环境变量hadoop-env.sh：
   hadoop-env.sh文件为hadoop的环境变量，由于其中的JAVA_HOME在获取系统中的JAVA_HOME时会出现问题，因此需要将其中的JAVA_HOME直接写死。
   

2. 修改配置文件
   （1）修改core-site.xml
   
   （2）修改hdfs-site.xml
   
   （3）修改mapred-site.xml.template

   先修改名字：

   mv mapred-site.xml.template mapred-site.xml
   

   修改mapred-site.xml：
   
   （4）修改yarn-site.xml
   

4.关闭防火墙

（1）centos7之前的版本

sudo service iptables stop    //关闭防火墙
sudo chkconfig iptables off    //关闭开机自启

（2）centos7

systemctl stop firewalld.service    //停止防火墙
systemctl disable firewalld.service    //关闭开机自启

5.添加环境变量

6.格式化hadoop

hadoop namenode -format