余老师带你学习大数据-Spark快速大数据处理第三章第一节Hadoop集群搭建概要

基本集群环境搭建

学习hadoop3首先不是学习hadoop的概念,因为hadoop是比较复杂的模块,是大数据基础的环境,我们把整个环境搭建好了之后,可以边操作边理解hadoop的功能,比如说MapReduce、YARN、HDFS。而且在基本环境之上,再进行改造,加入每一节课讲解的新内容。这样可以更早的接触到Hadoop集群,能够快速的理解。

余老师带你学习大数据-Spark快速大数据处理第三章第一节Hadoop集群搭建概要

逻辑的集群,包括了两个NN、两个RM、三个JN节点、三个DN节点,对应的物理部署形式是包括了app-11、app-12和app-13。在app-11上部署了NN1和RM1,在app-12上部署了NN2和RM2,三个DN和三个JN分别部署在app-11、app-12和app-13,因为整个系统只有三个机器,其中app-11和app-12分别分配了4G内存,app-13只有2g内存,所以app-13的任务会稍微减轻一点。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
余老师带你学习大数据-Spark快速大数据处理第三章第一节Hadoop集群搭建概要