liunx下的hadoop的简介与安装

Hadoop是一款可靠的、可伸缩的、分布式计算的开源软件。

是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型(MaoReduce)。

可从单个服务器扩展到几千台主机,每个节点提供了计算和存储的功能。而不是依赖高可

用性的机器，依赖于应用层面上的实现

Hadoop有四大模块

1.haddoop common  公共类库

2.HDFS hadoop        分布式文件系统

3.Hadoop yarn          作业调度和资源管理框架

4.Hadoop MapReduce  基于yarn系统的大数据集并行处理技术

       MapReduce工作原理如下:

5.Hadoop安装

(1).jdk(建议使用JDK1.8.11)

(2).tar hadoop.tar.gz(建议使用Hadoop2.6.0)

(3)将tar hadoop.tar.gz压缩文件复制到opt根目录下

(4)解压该压缩文件至指定目录下

(5)移动该文件到指定目录下

(6)修改配置文件

①修改hadoop-env.sh文件

②修改core-site.xml文件

③修改hdfs-site.xml文件

④修改yarn-site.xml文件

⑤修改/etc/profile文件

 

(7)#source /etc/profile 让修改的profile文件立即生效

(8)#hadoop namenode -format 格式化namenode

(9)#start-all.sh 启动hadoop

(10)查看java进程

(11)安装完成

hadoop就安装完成了