Hadoop3.2 集群搭建 (免密登录)

首页下载APP

 

Hadoop3.2 集群搭建

 

 

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。

Hadoop3.2 集群搭建 (免密登录)

Hadoop3.2 集群搭建 (免密登录)

大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。

  1. 准备两台主机10.211.55.1110.211.55.12

  2. 对应的hostname为m1.example.comm2.example.com
    具体命令操作如下

    Hadoop3.2 集群搭建 (免密登录)

     

  3. 主机免**登录

     

    Hadoop3.2 集群搭建 (免密登录)

  1. 同步hosts

     

    Hadoop3.2 集群搭建 (免密登录)

Hadoop3.2 集群搭建 (免密登录)

  1. 下载 jdk1.8

    Hadoop3.2 集群搭建 (免密登录)

     

  2. 配置Java环境

     

    Hadoop3.2 集群搭建 (免密登录)

  3. 环境变量生效 source /etc/profile

Hadoop3.2 集群搭建 (免密登录)

  1. 两台主机创建好hadoop的文件夹

     

    Hadoop3.2 集群搭建 (免密登录)

  1. 环境配置 hadoop-3.2.0.tar.gz

    Hadoop3.2 集群搭建 (免密登录)

     

  2. 参数配置

运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

Hadoop3.2 集群搭建 (免密登录)

 

  1. 环境变量生效 source /etc/profile

  2. hadoop 配置文件

core-site.xml 配置

 

Hadoop3.2 集群搭建 (免密登录)

hdfs-site.xml 配置

 

Hadoop3.2 集群搭建 (免密登录)

yarn-site.xml 配置

 

Hadoop3.2 集群搭建 (免密登录)

mapred-site.xml 配置

 

Hadoop3.2 集群搭建 (免密登录)

  1. 格式化name文件夹 hadoop namenode -format

  2. 启动 start-all.sh
    成功结果如下

    Hadoop3.2 集群搭建 (免密登录)

     

  3. 访问 http://m1.example.com:8088/cluster

    Hadoop3.2 集群搭建 (免密登录)

     

心明眼亮的你、从此刻开始。

Hadoop3.2 集群搭建 (免密登录)

Hadoop3.2 集群搭建 (免密登录)