您的位置: 首页  >  文章  >  工欲善其事，必先利其器——Hadoop 集群安装配置

工欲善其事，必先利其器——Hadoop 集群安装配置

分类: 文章 • 2023-10-28 15:33:16

准备

1.两台处于同一网段的机器，一台作为Master（192.168.31.178），一台作为Slave（192.168.31.92）。

2.Master按照上一篇文章完成Hadoop环境的搭建，并完成配置（完成到伪分布式）。

3.Slave使用上一篇文章，创建hadoop用户，安装ssh Server以及java环境。

网络配置

（现在Master上hadoop状态是关闭的）

1.Master:

sudo vim /etc/hostname #进入该文件，删掉原有内容，写入Master

修改Master节点的主机名称（即改为Master,注意区分大小写）。

sudo vim /etc/hosts    #修改自己所用节点的IP映射

在上述指令打开的文件中，注释之前的前几行，保留127.0.0.1    localhost，然后删除其他的，写入下面的IP映射

192.168.31.178     Master

192.168.31.92       Slave1

2.Slave:

操作同Master，但是，主机名为Slave1。

完成以上操作后，重启两台机器，才会在终端中看到机器名的变化。

3.然后在两台机器上互相Ping，ping通的话会显示time

ping Master -c 3
ping Slave1 -c 3

SSH无密码登陆节点

这个操作是让Master节点可以无密码SSH登陆到各个Slave节点上。

首先生成Master节点的公钥，在Master节点上操作（因为更改过主机名，所以需要删除原有的，再重新生成一个）：

cd ~/.ssh    #如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*    #删除之前生成的公钥
ssh-****** -t rsa    #一直按回车
cat ./id_rsa.pub >> ./authorized_keys    #让Master节点可以无密登陆SSH本机

完成后可执行ssh Master验证一下（可能需要输入yes，成功后执行exit返回原来的终端）。接着在Master节点将公钥传输到Slave1节点（或者更多的节点）

scp ~/.ssh/id_rsa.pub [email protected]:/home/hadoop/

工欲善其事，必先利其器——Hadoop 集群安装配置

接着在Slave1节点上，将ssh公钥加入授权：

mkdir ~/.ssh    #如果不存在该文件夹需先创建，如存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub

如果有其他Slave节点，执行相同的操作。

完成以上操作，便可以在Master节点无密登陆其他Slave：

ssh Slave1

工欲善其事，必先利其器——Hadoop 集群安装配置

配置PATH变量

在单机伪分布式配置教程的最后，说到可以将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，如果还没有配置的，需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc，加入一行：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存后执行 

source ~/.bashrc

使配置生效。

配置集群（分布式）环境

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1.文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。

2. 文件 core-site.xml 改为下面的配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

3. 文件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4. 文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

5. 文件 yarn-site.xml：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

cd /usr/local
sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop

在Slave1执行：

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

首次启动需要在Master节点上执行NameNode的格式化：

hdfs namenode -format

接着在Master节点上启动Hadoop：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过在jps查看各个检点所启动的进程：

Master节点：

工欲善其事，必先利其器——Hadoop 集群安装配置

Slave1节点：

工欲善其事，必先利其器——Hadoop 集群安装配置

上面两个节点的进程缺少一个都是错误的。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。

关闭 Hadoop 集群也是在 Master 节点上执行的：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

 

相关推荐