CentOS7搭建hadoop2.7伪分布式

 

 

一、下载hadoop

前往镜像地址下载

http://mirror.bit.edu.cn/apache/hadoop/common/

这里我选择下载2.7.5版本，下载编译过后的版本

Hadoop-2.7.5.tar.gz

二、下载完成后将安装包上传到系统目录中，我默认使用/opt/data/存放所有安装包

修改虚拟机hosts

使用命令vi /etc/hosts

添加映射

192.168.249.128 iflytek01

这里之所以添加映射，是为了配置环境以及集群修改环境方便

 

使用命令解压安装包

Tar –xzvf ‘压缩文件路径’ –C ‘需要存放的目录’

跳转到解压后的目录 这里使用/opt/app/存放解压后文件

打开/opt/apps/

配置hadoop环境变量

Cd 进入hadoop目录

Pwd查看hadoop的安装路径，这里安装路径就是/opt/apps/hadoop-2.7.5

 

复制该路径，使用命令打开 vi/etc/profile

在下方添加

HADOOP_HOME=/opt/apps/hadoop-2.7.5

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

环境变量配置完成

使用source /etc/profile刷新配置文件

 

Cd 进入/opt/apps/hadoop-2.7.5/etc/hadoop/目录下，可以看到配置文件，配置环境属性

首先我们打开hadoop-env.sh

Vim Hadoop-env.sh

 

         添加自己的java安装路径

修改core-site.xml

Vim core-site.xml或者通过其他工具修改

<configuration>

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://iflytek01:8020</value>

    </property>

         <property>

       <name>hadoop.tmp.dir</name>

        <value>/opt/apps/hadoop-2.7.5/data/tmp</value>

    </property>

         <property>

       <name>fs.trash.interval</name>

       <value>420</value>

    </property>

</configuration>

 

修改hdfs-site.xml

<configuration>

    <property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>iflytek01:50090</value>

    </property>

</configuration>

 

修改mapred-site.xml

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property>

         <property>

        <name>mapreduce.jobhistory.address</name>

       <value>iflytek01:10020</value>

    </property>

         <property>

       <name>mapreduce.jobhistory.webapp.address</name>

        <value>iflytek01:19888</value>

    </property>

</configuration>

 

修改slaves

Iflytek01

 

修改yarn-site.xml

<configuration>

    <property>

       <name>yarn.resourcemanager.hostname</name>

       <value>iflytek01</value>

    </property>

         <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

       <name>yarn.log-aggregation-enable</name>

       <value>true</value>

    </property>

         <property>

       <name>yarn.log-aggregation.retain-seconds</name>

       <value>420</value>

    </property>

</configuration>

 

配置完成

接下来

配置免密码登陆

进入/root/.ssh

如果没有运行下方命令就有了

使用命令ssh-******

回车之后在/root/.ssh下会生成两个文件，

然后使用命令  ssh-copy-id ‘本机ip’ 输入密码免密码配置完成

这里我出现了错误

SSH 登录时出现如下错误：Permissiondenied, please try again

执行以下操作

Vi /etc/ssh/sshd_config

找到         PermitRootLogin

将后面设置为yes

service sshdrestart

然后重启服务

 

关闭防火墙(这是centos7的命令)

systemctl stopfirewalld.service 关闭防火墙

开始格式化 输入命令

hadoop namenode –format

格式化后start-all.sh      启动