Hadoop之联邦HDFS

联邦Hadoop

Hadoop之联邦HDFS

是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性,联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间,不同NameNode之间的命名空间相互独立。数据块池不再切分,因此,每个DataNode需要注册到NameNode。

HDFS的底层存储是可以水平拓展的,但namespace不可以。当前的namespace只能放在单个NamwNode上,而NameNode存储了这个分布式文件系统的元数据信息,限制了集群中的数据块,文件和目录的数目。

  1. 多个NameNode共用一个集群里的DataNode上的资源,而每个NameNode的哦可以单独对外提供服务。
  2. 每个NameNode都会定义一个存储池,有单独的id,每个DataNode都为所有存储池提供存储。
  3. DataNode会按照存储池id向其对应的NameNode汇报块信息,也会会ibao所有NameNode本地存储可用资源情况。
  4. 如果要客户端方便的访问若干个NameNode的资源,可以使用客户端挂载表,把不同的目录映射到不同的NameNode,NameNode上必须存在相应的目录。

相关推荐