Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

学习Hadoop也有一段时间了。起先从Hadoop-1.2.1开始,略会写点MapReduce,还是想要跟上Hadoop发展的步伐,虽说现在官方已经发布2.4.0版本了,但是稳定版还是2.2.0。在机器上跑了一下,发现2.x比起1.x,变化还是很大的,更加模块化了。决定从官网的文档开始入手,现在也略有些时间,就一边学习一边将其翻译成中文好了,不过英文比较烂。大概每天翻译一节吧。

相关阅读

  • Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
  • Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
  • Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
  • Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
  • 单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
  • 搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

-----------------------------------------------------------------------------------------------

Apache Hadoop 2.2.0

Apache Hadoop 2.2.0 比起之前的稳定发行版(hadoop-1.x),有一些明显的改进。

这是对HDFS和MapReduce的改进的简短概览。

•HDFS Federation(联合)

为了能对name service进行水平的扩展,federation使用了多个独立的Namenodes/Namespaces。这些Namenodes是联合的,也就是说,这些Namenodes是独立的并且不要求相互协调。datanodes被namenodes用来作为块的公共存储区。每个datanode在集群中所有的namenode上都会进行注册,datanodes将周期性的给namenodes发送心跳检测、块报告和一些操作命令。

更多细节可以查看HDFS Federration文档。

 •MapReduce NextGen aka YARN aka MRv2(MapReduce下一代 又叫YARN 又叫MRv2)

在hadoop-0.23中引入了新的架构,把Jobtracker划分成了两个主要的功能:资源管理和job生命周期管理变成    两个独立的组件。

新的资源管理器将在全局为应用分配计算资源,每个应用的应用管理器管理着应用的调度和协调。

一个应用要么是一个经典的mapreduce job要么是一个DAG job。

资源管理器和每台机器NodeManager 守护进程,管理者用户在那台机器上的处理,组成计算网。

每一个应用的应用管理器,实际上是一个特定的类库框架,其任务是同ResourceManager 协调资源,并且同NodeManager一起执行和监视任务。

更多细节可查看YARN文档。

开始

相关推荐