Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1
大数据部门组织架构
Hadoop
Hadoop是什么
Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个广泛的概念———Hadoop生态圈。
Hadoop的优势
1）高可靠性。
2）高扩展性。
3）高效性。
4）高容错性。
Hadoop的组成
MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)
HDFS架构
1）NameNode(nn)：存储文件的元数据，数据索引。
2）DataNode(dn)：数据本身。
3）Secondary NameNode(2nn)：用于监控HDFS状态的辅助后台程序，获取HDFS元数据的快照。
YARN架构
MapReduce
1）Map阶段并行处理输入数据。
2）Reduce阶段对Map结果进行汇总。