Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

本教程基于 Hadoop 2.4.1，但应该适用于所有 2.x 版本。我在 Ubuntu 下多次安装过，按照本教程一般都可以配置成功。本教程只是基础的安装配置，更多功能、配置、技巧就需要各位自行探索了。

环境

• 系统: Ubuntu 14.04 64bit
• Hadoop版本: hadoop 2.4.1 (stable)
• JDK版本: OpenJDK 7
• 集群环境: 两台主机，一台作为Master，局域网IP为192.168.1.121；另一台作为Slave，局域网IP为192.168.1.122.

准备工作

Hadoop的安装配置只需要在Master节点主机上进行，配置好后再复制到各个节点。

建议先按照上面的教程在Master主机上安装一次单机环境的Hadoop，如果直接上手集群，在Master主机上安装Hadoop时，要记得修改hadoop文件的权限。

网络配置

我使用了两台主机搭建集群，主机名与IP地址对应如下：

Master 192.168.1.121
Slave1 192.168.1.122

首先选定哪台主机要作为Master（比如我选择的是ip为 192.168.1.121 这台），然后在该主机的 /etc/hostname 中，修改机器名为Master，将其他主机命令为Slave1、Slave2等。接着在 /etc/hosts 中，把所有集群的主机信息都写进去。

sudo vim /etc/hostname
sudo vim /etc/hosts

完成后，如下图所示(/etc/hosts 中只能有一个127.0.0.1，对应为localhost，否则会出错)。最好重启一下，在终端中才会看到机器名的变化。

Hadoop中的hosts设置

配置好后可以在各个主机上执行ping Master和ping Slave1测试一下，看是否相互ping得通。

ping

SSH无密码登陆节点

这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。

首先生成 Master 的公匙，在 Master 节点终端中执行：

cd ~/.ssh                      # 如果没有该目录，先执行一次ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机，这一步还是在 Master 节点上执行：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

完成后可以使用 ssh Master 验证一下。接着将公匙传输到 Slave1 节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp时会要求输入Slave1上hadoop用户的密码(hadoop)，输入完成后会提示传输完毕。

接着在 Slave1节点 上将ssh公匙保存到相应位置，执行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

如果有其他 Slave 节点，也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。

最后在 Master 节点上就可以无密码SSH到Slave1节点了。

ssh Slave1

配置集群/分布式环境

集群/分布式模式需要修改 etc/hadoop 中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slave

cd /usr/local/hadoop/etc/hadoop
vim slaves

将原来 localhost 删除，把所有Slave的主机名写上，每行一个。例如我只有一个 Slave节点，那么该文件中就只有一行内容： Slave1。

2, 文件 core-site.xml ，将原本的如下内容：

<property>
</property>

改为下面的配置。后面的配置文件的修改类似。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

3, 文件hdfs-site.xml，因为只有一个Slave，所以dfs.replication的值设为1。

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4, 文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：

cp mapred-site.xml.template mapred-site.xml

然后配置修改如下：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5, 文件yarn-site.xml：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置好后，将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行，但会有所不同，如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。

cd /usr/local
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz Slave1:/home/hadoop

在Slave1上执行：

sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop

如果之前有跑过伪分布式模式，建议切换到集群模式前先删除之前的临时文件：

rm -r /usr/local/hadoop/tmp

然后在Master节点上就可以启动hadoop了。

cd /usr/local/hadoop/
bin/hdfs namenode -format       # 首次运行需要执行初始化，后面不再需要
sbin/start-dfs.sh
sbin/start-yarn.sh

通过命令jps可以查看各个节点所启动的进程。

通过jps查看Master的Hadoop进程

可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。

通过jps查看Slave的Hadoop进程

Slave节点则启动了DataNode和NodeManager进程。

另外也可以在Master节点上通过命令bin/hdfs dfsadmin -report查看DataNode是否正常启动。例如我这边一共有1个Datanodes。

通过dfsadmin查看DataNode的状态

也可以通过Web页面看到查看DataNode和NameNode的状态，http://master:50070/

关闭Hadoop集群也是在Master节点上执行：