Hadoop配置完全分布式

1.说明

   两台机器模拟完全分布式  node1和node3

   Hadoop配置完全分布式

   其中node1:作为namenode ; node3:作为datanode和SecondNamenode

2.配置免密码登陆

     1.前提要有ssh

     2.为什么要免密码登陆:因为当开启node1的时候要同时远程登陆到node3上启动相应的进程,所以要免密码登陆。说白了就是在任何一个节点上敲一个命令启动所有节点上的所有进程。

     3.如何配置免密码登陆?

         先生成**:ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa 5

         **生成之后在 跟目录下ssh 中找到**  如下图  其中第一个是私钥(自己用的),第二个是公钥(别人用的)

     Hadoop配置完全分布式

        获取公钥内容

      Hadoop配置完全分布式

      将其复制到要免密码登陆的节点中 例如node3要免密码登陆  操作如下图

      Hadoop配置完全分布式

       将上述的公钥的内容复制到要免密码登陆的authorized_keys中,之后在node3中执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

       最后在node3中ssh node1 就不需要输入密码登陆了

      Hadoop配置完全分布式
       要想node1中可以免密码登陆node3执行以下命令

      Hadoop配置完全分布式

 3.格式化

       Hadoop配置完全分布式

     

4.启东dfs

     [[email protected] bin]# ./start-dfs.sh

Hadoop配置完全分布式

    通过jps来看节点是否启动成功

    node1上  启动一个namenode 节点                                                       node3上应该启动两个节点一个是datanode一个是secondarynamenode

    Hadoop配置完全分布式                                   Hadoop配置完全分布式

    上图中的node3显示一个节点都没启动  这个原因是防火墙的问题 把防火墙关闭之后重新开启dfs.

5,windows上配置域名解析

在这个目录下配置node1和node3

Hadoop配置完全分布式

Hadoop配置完全分布式