Hadoop完全分布式配置

Hadoop完全分布式配置

很多人对于hadoop完全分布式有点模糊，接下来按照步骤好好讲一下；
（这个步骤对于有先进行过Hadoop伪分布式配置相对简单！）
这里使用的软件有：VMWare，SecureCRT；
首先需要在VMWare上配置好三台机器，分别配置好JDK和Hadoop（注意各版本的JDK和Hadoop可能有冲突，所以一般都使用最新的,也可以使用我这两个，需要的可以私我！）
JDK配置完成：

Hadoop配置完成：

接下来按照这个表格进行配置完全分布式：
配置集群（最重要的来了，来了，来了！）

1.配置core-site.xml
vi core-site.xml

第一个property中配置的是：指定HDFS中NameNode的地址；
第二个property中配置的是：指定Hadoop运行时产生文件的 存储目录；
上图中的shizhan102为你的主机名，下面的路径找到你的hadoop安装路径，tmp不需要先创建的；

（2）HDFS配置文件

配置hadoop-env.sh:
vi hadoop-env.sh

需要在这个文件中配置好的JDK路径；

配置hdfs-site.xml:
vi hdfs-site.xml

第一个property默认值为3，可以直接把这一行删除，也可以进行配置；
其他和我一样进行配置即可；

（3）YARN配置文件

配置yarn-env.sh:
vi yarn-env.sh

配置好JDK位置；

配置yarn-site.xml:

vi yarn-site.xml

只需要添加这两个，其他配置文件需保留；

（4）MapReduce配置文件

配置mapred-env.sh:

vi mapred-env.sh

同样，需要配置好JDK位置；

可以将mapred-site.xml.template更改名称为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

配置mapred-site.xml:
vi mapred-site.xml

在文件中添加这个，表示mapreduce运行在yarn上；

配置文件就到这个就完成了，如果集群是第一次启动就需要格式化NameNode;
如果之前启动过Namenode，产生了data和logs文件，那么需要将data和logs文件删除；
hadoop namenode -format

**注意：**因为我们是将102配置为namenode，所以启动namenode需要在102上启动，启动yarn需要在103启动；

（新手第一次参与写博客，请大家有不好的帮忙提一下，有需要什么的也可以私聊我！谢谢）