Namenode内部数据结构整理
由于要改进NameNode结构,需要对NameNode内部数据结构进行整理,方便下一步的工作。
NameNode接收Client、DataNode、SecondNameNode的RPC通信后,解析出需要执行的函数,大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构,总结起来有如下一些:
1. BlocksMap blokcsMap;
保存了block-àINode,DatanodeDescriptor的映射
BlocksMap是NameNode中重要的数据结构,保存了三元组,在内存中占据了大量的空间,通过BlocksMap可以获得所有块信息。
2. CorruptReplicasMap corruptReplicas;
保存了block-àMap<DatanodeDescriptor>的映射。
CorruptReplicasMap保存的是损坏的块以及对应的DatanodeDescriptor集合。
3. NavigableMap<String,DatanodeDescriptor>datanodeMap;
保存了StorageID-àDatanodeDescriptor的映射。
4. Map<String,Collection<Block>>recentInvalidateSets;
保存了StorageID-àCollection<Block>的映射,其中Block集合对应的是存疑无效的Block。
5. Map<String,Collection<Block>>excessReplicateMap;
保存了StorageID-àCollection<Block>的映射,其中Block集合对应了存疑超过设定副本数的Block。
6. ArrayList<DatanodeDescriptor> heartbeat;
保存了现在认定存活的结点对应的DatanodeDescriptor,Datanode通过RPC向NameNode定时发送心跳汇报,如果超过一定时间,则认为Datanode已经挂掉。
7. UnderReplicatedBlocks needReplications;
保存了List<TreeSet<Block>>需要复制的副本集合,按照优先级生成该副本集合。
8. PendingReplicationBlockspendingReplications;
保存了正在进行复制的Block集合,同时内部有个线程去检查是否复制超时,如果超时,则放入其内部的复制超时Block集合汇总。
9. LeaseManager leaseManager;
租约检查。
10. Host2DataNodesMap host2NodesMap;
主机名-àDatanodeDesciptor[]的映射。