Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

一、引言

Hadop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop1.2.1版本下载地址：http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/

相关阅读：

二、准备安装环境

我的本机是环境是windows8.1系统 +VMvare9虚拟机。VMvare中虚拟了3个ubuntu 12.10的系统，JDK版本为1.7.0_17.集群环境为一个master，两个slave，节点代号分别为node1,node2,node3.保证以下ip地址可以相互ping通，并且在/etc/hosts中进行配置

三、安装环境

1、首先修改机器名

使用root权限，使用命令：

sudo vi /etc/hosts 

其中node1、node2、node3的/etc/hosts配置为：

/etc/hosts的配置很重要，如果配置的不合适会出各种问题，会影响到后面的SSH配置以及Hadoop的DataNode节点的启动。

2、安装JDK

3、添加用户

在root权限下使用以下命令添加hadoop用户，在三个虚拟机上都添加这个用户

sudo adduser hadoop

将下载到的hadoop-1.2.1.tar文件放到/home/hadoop/目录下解压，然后修改解压后的文件夹的权限，命令如下：

sudo tar -xvzf hadoop-1.2.1.tar #解压命令

chown -R hadoop:hadoop hadoop-1.2.1(文件夹名)

4、安装和配置SSH

1）在三台实验机器上使用以下命令安装ssh:

sudo apt-get install ssh

安装以后执行测试：

netstat -nat  #查看22端口是否开启

ssh localhost #测试ssh是否成功连接

输入当前用户名和密码按回车确认，说明安装成功，同时ssh登陆需要密码。

这种默认安装方式完后，默认配置文件是在/etc/ssh/目录下。sshd配置文件是：/etc/ssh/sshd_config