NameNode与SecondaryNameNode(上)
NameNode工作机制
NameNode数据存储:
NameNode数据存储分为三部分:内存、FsImage、Edits。
内存:为了提供高效、快速的服务,NameNode将所有的元数据处理在内存中进行。
FsImage:考虑到数据安全,以及保证数据持久化,提出了FsImage元数据文件存储,将元数据保存在文件中。
Edits:但是如果NameNode一边复制数据处理,一边负责将元数据保存在FsImage文件中,效率会特别低。从而有了Edits,Edits只负责将操作步骤追加起来(不包括查询操作)
SecondaryNameNode:
SecondaryNameNode是为了辅助NameNode,合并FsImage和Edits。
- SecondaryNameNode开始工作有两个条件:默认每小时检测、edits操作达到100w条
- SecondaryNameNode发起checkPoint操作,请求NameNode
- NameNode接到请求,回滚edits操作,生成新的edits_inprogress,并将老的edits、FsImage拷贝到SecondaryNameNode中
- SecondaryNameNode加载到内存并合并edits、FsImage,生成
FsImage.checkpoint - SecondaryNameNode将FsImage.checkpoint传到NameNode
- NameNode将FsImage.checkpoint重命名替换为FsImage
如下图所示: