Hadoop 2.2.0集群搭建
一、环境说明
1、虚拟机平台：VMware10
2、Linux版本：Ubuntu-12.04.3-desktop-i386
3、JDK：jdk1.7.0_51
4、Hadoop版本：2.2.0
5、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2
注明：文中linuxidc是虚拟机用户名。
--------------------------------------分割线 --------------------------------------
--------------------------------------分割线 --------------------------------------
二、准备工作
1、安装虚拟机平台，并新建一个Ubuntu虚拟机，记为hadoopMaster。
2、在hadoopMaster上安装JDK。
Jdk一般有两个版本：Open JDK、SunJDK，建议使用Sun JDK。安装步骤如下：
先去 Oracle下载Linux下的JDK压缩包，http://www.oracle.com/technetwork/java/javase/downloads/index.html，下好后直接解压。
进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_51文件夹用最高权限复移动到/usr/lib/jvm目录里，此时即使没有jvm目录也可以执行如下命令，jvm文件夹将得到创建。
sudo mv jdk1.7.0_51 /usr/lib/jvm/
接下来需要设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，如果要对使用计算机的所有用户生效，那么需要设置的文件应该是 /etc/profile。
sudo gedit ~/.profile
在末尾加上:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
然后保存关闭，此时在命令行输入java -version将会仍然显示java没有安装。此时，需要使用source更新下.profile文件：
$ source ~/.profile
再次使用java -version命令可以看到如下输出：
linuxidc@ubuntu:~$ java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build1.7.0_51-b18)
到此，已经将oracle jdk配置完成。如果之前系统里面已经安装了openjdk，可以使用如下方法将默认jdk更改过来：
$ sudo update-alternatives --install/usr/bin/java java /usr/lib/jvm/jdk1.7.0_51/bin/java 300
输入sun jdk前的数字就好了
$ sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/bin/javac 300
$ sudo update-alternatives --config java
$ sudo update-alternatives --config javac
3、安装SSH
可以先检查是否已经有ssh，也可以跳过这步，直接安装。
$ sudo ps -ef | grep ssh
如果只有 ssh-agent 就需要安装openssh-server了。
$ sudo apt-get install ssh openssh-server
4、配置SSH公钥
$ ssh-keygen -t rsa -P "yourPassWord"
$ ssh-keygen -t rsa -P "yourPassWord"
ssh-kengen 是用连字符连着的，千万不要分开。另外，密码是你的虚拟机密码，而不是空（当然，如果你的虚拟机密码为空，另当别论）。
5、建立IP和hadoop节点的映射关系
修改etc/hosts文件，在上面加入hadoop节点IP和名称的映射关系。
$ sudo gedit /etc/hosts
在其中加上（ip是节点可配置的ip，自己设定）：
192.168.32.*** hadoopMaster
192.168.32.*** hadoopSlave1
192.168.32.*** hadoop Slave2
6、克隆两个Ubuntu虚拟机，作为hadoop的其他两个节点
7、分别修改三个Ubuntu虚拟机的名称
sudo gedit /etc/hostname
分别将三个虚拟机名称改为：hadoopMaster，hadoopSlave1，hadoopSlave2。
8、修改三个Ubuntu虚拟机的IP