大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

一、NameNode(NN)

——基于内存存储 :不会和磁盘发生交换

·只存在内存中

·持久化

——NameNode主要功能

·接受客户端的读写服务

·收集DataNode汇报的Block列表信息

——NameNode保存metadata信息包括

·文件owership和permissions

·文件大小,时间

·(Block列表:Block偏移量),位置信息

·Block每副本位置(由DataNode上报)

二、NameNode持久化

——NameNode的metadate信息在启动后会加载到内存

——metadata存储到磁盘文件名为”fsimage”

——Block的位置信息不会保存到fsimage

——edits记录对metadata的操作日志。。。redis

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

三、DataNode(DN)

——本地磁盘目录存储数据(Block),文件形式

——同时存储Block的元数据信息文件

——启动DN时会向NN汇报block信息

——通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

为回馈大家,想要学习java、Java架构、大数据等技术的朋友,可以加我微信好友Nancy007001,免费提供录播资料供大家学习。

感谢大家的支持!!!

本文为原创作品,禁止转载!