HADOOP生态圈以及各组成部分的简介
传智大数据day06
重点组件:
Hdfs:分布式文件系统,隐藏集群细节,可以看做一块儿超大硬盘
主:namenode,secondarynamenode
从:datanode
Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)
主:ResourceManager
从:NodeManager
Mapreduce:分布式运算程序开发框架,类似于Spring。
Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具,可以将结构化的数据文件映射为一张数据库 表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
Hbase:基于HADOOP的分布式海量数据库
Zookeeper:分布式协调服务基础组件
Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie:工作流调度框架
Sqoop:数据导入导出工具
Flume:日志数据采集框架