Hadoop完全分布式环境搭建
一. 准备工作
实验环境：Vmware虚拟出的3台主机，系统为CentOS_6.4_i386
用到的软件：Hadoop-1.2.1-1.i386.rpm，jdk-7u9-linux-i586.rpm
主机规划：
IP地址 主机名 角色
192.168.2.22 master.flyence.tk NameNode,JobTracker
192.168.2.42 datanode.flyence.tk DataNode,TaskTracker
192.168.2.32 snn.flyence.tk SecondaryNameNode
1. hostname命令修改主机名，并修改/etc/sysconfig/network中的主机
这里以master节点为例
[root@localhost ~]# hostname master.flyence.tk
[root@localhost ~]# vim /etc/sysconfig/network
[root@localhost ~]# logout
-
下面为/etc/sysconfig/network中的内容
NETWORKING=yes
HOSTNAME=master.flyence.tk
2. 在/etc/hosts中，记录3台主机的IP和主机名
3. 在3台主机上添加hadoop用户，并设定密码
# useradd hadoop
# echo "hadoop" | passwd --stdin hadoop
4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点，以便启动进程并执行监控等额外的管理工作。
[root@master ~]# su - hadoop
[hadoop@master ~]$ ssh-keygen -t rsa -P ''
[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub [email protected]
[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub [email protected]
二. 安装JDK
3台主机上都要安装，以下步骤要重复三遍
[root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm
编辑/etc/profile.d/java.sh，在文件中添加如下内容：
export PATH=/usr/java/latest/bin:$PATH
切换至hadoop用户，并执行如下命令测试jdk环境配置是否就绪
[hadoop@master ~]$ java -version
java version "1.7.0_09"
Java(TM) SE Runtime Environment (build 1.7.0_09-b05)
Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)
三. 安装Hadoop
集群中的每个节点都要安装Hadoop。
[root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm
切换至hadoop用户，验证Hadoop是否安装完成
[hadoop@master ~]$ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar
相关阅读：