Hadoop本地模式安装如何实现?

本节向大家介绍一下Hadoop本地安装是如何实现的,相信通过本文的介绍大家能够很快掌握Hadoop本地安装的方法,让我们一起来看一下如何进行Hadoop本地安装。为了便于大家理解,在没有介绍之前先看一下Hadoop的概念。

Hadoop本地模式安装

Hadoop概念
 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。当前最新版本是hadoop0.20.1。下面就hadoop0.20.1为蓝本,介绍在UbuntuLinux9.10下hadoop本地安装的方法。

支持的平台:
Linux,可作为开发和产品部署的平台;
Windows,可作为开发平台。

事先需要的软件:
1.JavaTM1.6.x,必须安装,建议选择Sun公司发行的Java版本;
2.ssh必须安装,并保证sshd运行,hadoop将以ssh进行通讯;
3.如果是windows,则需要装Cygwin,用以支持shell命令。

Hadoop安装可用的模式:
1.本地模式;
2.伪分布模式;
3.全分布模式。

相关推荐