Hadoop3 全分布式安装

准备工作：

4台节点服务器
1.1.1 JDK安装&配置好参考JDK安装文章
1.1.2 4个节点服务器配置相互免密登录参考配置免密登录文章

下载Hadoop 下载地址

开发环境

Linux平台: Centos6.5

JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)

Hadoop 3.1.2 下载地址

1. 解压安装包到`/opt`目录下

/usr 下是你安装系统是所安装的软件的安装目录；
/opt 则是按完系统后你又需要安装其他的应用软件，一般是源码包的软件，可以自己指定路径，管理员习惯性的把软件按在这，你也可以安装在其他位置。

tar -zxvf hadoop-3.1.2.tar.gz -C /opt

2. 修改配置文件

配置文件路径：/opt/hadoop-3.1.2/etc/hadoop

修改hadoop-env.sh配置文件，hadoop环境变量
修改Hadoop的环境变量，默认的环境变量与服务器底层的环境变量有却别，因此必须修改。

i. 打开全是注释项，在末尾新添加一行来配置所需的Java环境：
```
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
```
ii. 配置角色进程指派NameNode,DataNode,SecondAryNameNode
```
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
```

修改core-site.xml配置文件，主节点配置文件

<configuration>
	<!-- 指定HDFS（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/peseude/full</value>
    </property>
</configuration>

修改hdfs-site.xml配置文件，从节点配置文件

<configuration>
	<!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!--The secondary namenode http server address and port. -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:9868</value>
    </property>
</configuration>

修改workers配置文件，配置从节点
```
node02
node03
node04
```

将node01节点的hadoop安装包分发给其他节点

# 把hadoop文件夹分发到node02下面同样的位置
scp -r hadoop-3.1.2/ node02:`pwd`
scp -r hadoop-3.1.2/ node03:`pwd`
scp -r hadoop-3.1.2/ node04:`pwd`

观察到在每一个节点中都有opt/hadoop-3.1.2安装目录

3. 启动Hadoop

配置hadoop系统环境变量hadoop/bin & hadoop/sbin

修改 /etc/profile系统环境变量文件,在其末尾添加
export HADOOP_HOME=/opt/hadoop-3.1.2
添加PATH环境变量
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

向其节点分发配置文件
scp /etc/profile node02:/etc/
scp /etc/profile node03:/etc/
scp /etc/profile node04:/etc/

重读配置文件
source /etc/profile

格式化系统—相当于文件夹的创建
- 产生集群第1个FSImage文件（元数据信息）
- 生成集群ID
```
hdfs namenode -format
```
执行成功标志：
再最下面的几行中有
```
Storage dirextory /var/hadoop/pesude/full/dfs/name hsa been successfully formatted.
```
打印VERSION，生成clusterID，生成元数据信息
启动当前节点
```
start-dfs.sh
```