Hadoop的Secondary NameNode方案
http://book.51cto.com/art/201205/339038.htm
Hadoop的Secondary NameNode方案(不是双机热备)
该方案启动一个Secondary NameNode节点,该节点定期从NameNode节点上下载元数据信息(元数据镜像fsimage 和元数据库操作日志edits),然后将fsimage和edits进行合并,生成新的fsimage(该fsimage就是Secondary NameNode下载时刻的元数据的Checkpoint),在本地保存,并将其推送到NameNode,同时重置NameNode上的edits。
优点
Hadoop自带机制,成熟可靠,使用简单方便,无需开发,配置即可。
Secondaryary NameNode定期做Checkpoint,可保证各个Checkpoint阶段的元数据的可靠性,同时,进行fsimage与edits的合并,可以有效限制edits的大小,防止其无限制增长。
缺点
没有做到热备,当NameNode无法提供服务时,需要重启NameNode,服务恢复时间与文件系统规模大小成正比。
Secondary NameNode保存的只是Checkpoint时刻的元数据,因此,一旦NameNode上的元数据损坏,通过Checkpoint恢复的元数据并不是HDFS此刻的最新数据,存在一致性问题。
相关推荐
zhjn0 2020-11-24
txj 2020-09-08
zyshappy 2020-08-16
vipiter 2020-07-16
shurenyun 2020-06-21
inabaraku 2020-06-12
李战磊 2020-06-10
阿亮 2020-06-10
wannagonna 2020-06-08
LUOPING0 2020-06-03
liwenshui 2020-06-02
meleto 2020-05-30
LychieFan 2020-05-18
zzjmay 2020-05-17
neverstopforcode 2020-05-14
zhangskd 2020-05-05
东哥笔记 2020-04-29
wangrui0 2020-04-26