NameNode与SecondaryNameNode(上)

NameNode工作机制

NameNode数据存储:

NameNode数据存储分为三部分:内存、FsImage、Edits。

内存:为了提供高效、快速的服务,NameNode将所有的元数据处理在内存中进行。

FsImage:考虑到数据安全,以及保证数据持久化,提出了FsImage元数据文件存储,将元数据保存在文件中。

Edits:但是如果NameNode一边复制数据处理,一边负责将元数据保存在FsImage文件中,效率会特别低。从而有了Edits,Edits只负责将操作步骤追加起来(不包括查询操作)

SecondaryNameNode:

SecondaryNameNode是为了辅助NameNode,合并FsImage和Edits。

  1. SecondaryNameNode开始工作有两个条件:默认每小时检测、edits操作达到100w条
  2. SecondaryNameNode发起checkPoint操作,请求NameNode
  3. NameNode接到请求,回滚edits操作,生成新的edits_inprogress,并将老的edits、FsImage拷贝到SecondaryNameNode中
  4. SecondaryNameNode加载到内存并合并edits、FsImage,生成
    FsImage.checkpoint
  5. SecondaryNameNode将FsImage.checkpoint传到NameNode
  6. NameNode将FsImage.checkpoint重命名替换为FsImage

如下图所示:
NameNode与SecondaryNameNode(上)