CentOS 7安装Hadoop基础配置单节点集群完全分布式坏境搭建

Hadoop-基础配置+单节点

1、安装JDK：

2、创建hadoop用户及用户组：
useradd hadoop

3、使用hadoop账户：
su hadoop

4、解压到指定目录：
sudo tar -zxvf /opt/hjyang/tmp/hadoop-3.1.0.tar.gz -C /opt/hjyang/soft/

5、设置软连接：
sudo ln -s /opt/hjyang/soft/hadoop-3.1.0/ /opt/hjyang/soft/hadoop

6、用户用户组修改（软件目录及logs目录）：
sudo chown -R hadoop:hadoop /opt/hjyang/soft/hadoop*

7、目录权限修改（软件目录及logs目录）：
sudo chmod -R 755 /opt/hjyang/soft/hadoop*

单机安装
8、a-修改"core-site.xml"：
mkdir /opt/hjyang/soft/hadoop/tmp
vim /opt/hjyang/soft/hadoop/etc/hadoop/core-site.xml

fs.defaultFS hdfs://192.168.41.5:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/opt/hjyang/soft/hadoop/tmp

9、b-修改"hdfs-site.xml"：
mkdir -p /opt/hjyang/soft/hadoop/dsf/name
mkdir -p /opt/hjyang/soft/hadoop/dsf/data
vim /opt/hjyang/soft/hadoop/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address 192.168.41.5:9001 dfs.namenode.name.dir file:/opt/hjyang/soft/hadoop/dsf/name dfs.datanode.data.dir file:/opt/hjyang/soft/hadoop/dsf/data dfs.replication 1 dfs.webhdfs.enabled true

参数说明：
dfs.namenode.secondary.http-address：
"secondName"的地址，作为"namenode"的一个备份，目的就是灾备。因为就一个机器所以都配置了相同的机器，只是用了不同的端口
dfs.namenode.name.dir 和 dfs.namenode.data.dir：
指的是"namenode"存储的"datanode"元数据的信息，需要配置两个目录一个是存放"name"和"data"目录
dfs.replication：
数据文件块（black）复制备份的个数，在HDFS分布式文件系统中，为了保证数据的完整性，底层的机制是需要多拷贝几份数据分不到不同的计算机上的，目的同样是灾备。
dfs.webhdfs.enabled：
指的是是否可以通过web站点进行Hdfs管理，后面我们会演示，如何通过页面打开HDFS文件。

10、c-修改"mapred-site.xml"：
vim /opt/hjyang/soft/hadoop/etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.41.5:10020 mapreduce.jobhistory.webapp.address 192.168.41.5:19888

11、d-修改"yarn-site.xml"：
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address 192.168.41.5:8032 yarn.resourcemanager.scheduler.address 192.168.41.5:8030 yarn.resourcemanager.resource-tracker.address 192.168.41.5:8035 yarn.resourcemanager.admin.address 192.168.41.5:8033 yarn.resourcemanager.webapp.address192.168.41.5:8088

12、配置"Hadoop"的"jdk"路径（不指定不能运行的）：
"hadoop-env.sh"和"yarn-env.sh"开头添加如下：
export JAVA_HOME=/opt/hjyang/soft/jdk

vim /opt/hjyang/soft/hadoop/etc/hadoop/hadoop-env.sh
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-env.sh

13、检查"hadoop"用户对所有文件拥有执行权限：
ll /opt/hjyang/soft/hadoop/
CentOS 7安装Hadoop基础配置单节点集群完全分布式坏境搭建

14、格式化"HDFS"文件，启动这单节点的"Hadoop"集群：
Hadoop分布式存储系统(“HDFS”)格式化：只能在初始化系统的时候执行一次（要不执行一次数据就丢失一次）：
/opt/hjyang/soft/hadoop/bin/hadoop namenode -format
CentOS 7安装Hadoop基础配置单节点集群完全分布式坏境搭建
看到上面显示的信息，说明已经执行成功了。
否则报什么错误，解决什么错误。一般错误的原因都是配置文件粗心导致的错误，仔细检查就行了。

15、Hadoop 集群进行启动验证（验证方式：两点）：
A、第一点：保证HDFS完整没问题
a、启动"HDFS"命令：
/opt/hjyang/soft/hadoop/sbin/start-dfs.sh
CentOS 7安装Hadoop基础配置单节点集群完全分布式坏境搭建

b、查看"HDFS"状态（两种方式）：
/opt/hjyang/soft/hadoop/bin/hadoop dfsadmin -report

或打开网站：
http://192.168.41.5:50070/dfshealth.html#tab-overview
或"jps"查看：

16、"Hadoop"集群启动查看：
启动Hadoop集群：
/opt/hjyang/soft/hadoop/sbin/start-yarn.sh
CentOS 7安装Hadoop基础配置单节点集群完全分布式坏境搭建