hadoop的架构模块
1、hadoop的架构模块介绍
HDFS模块:(主从架构)分布式文件存储系统
namenode:主节点,主要负责集群的管理以及元数据信息管理。
datanode:从节点,主要负责存储用户数据。
secondaryNameNode:辅助namenode管理元数据信息,以及元数据信息的冷备份。
Yarn模块:(主从架构)资源管理调度系统
ResourceManager:主节点,主要负责资源调度分配。
NodeManager:从节点,主要负责执行任务。
2、hadoop的运行模式
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。
本地运行模式
无需任何守护进程,所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用
伪分布式运行模式
Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
完全分布式运行模式
Hadoop守护进程运行在一个集群上,需要使用多台机器来实现完全分布式服务的安装。