Hadoop集群的快速部署

我的集群部署在局域网内部，与外网隔离开来。这个主要处于安全性考虑，在公网使用一段时间linux，你用sudocat/var/log/secure查看安全日志会发现，每天都有一大堆居心不良的人在试探你的sshd服务。当然这个可以通过配置sshd来避免，不过还是谨慎为妙。

闲话少说，步入正题。我的网络结构是这样的：我的机器通过多IP配置与集群在一个网段，也可以在另一个网段通过拨号上网。我机器的操作系统是Fedora13，集群上的机器是CentOS。

我快速部署的思路是这样的：在我的机器上下载cloudera.com上的hadoop安装包，然后在自己的机器上配置一个yum源，集群通过yum来批量升级和安装hadoop。

第一步，下载安装包和相关文件。

其实cloudera就有一个yum源，查看一下http://archive.cloudera.com/redhat/cdh/3/，yum源的结构就很清晰了。

wget-mchttp://archive.cloudera.com/redhat/cdh/3/

在当前文件夹下就有一个archive.cloudera.com的文件夹。

第二步，配置本地源。

mkdir/var/www/html/cloudera-hadoop

cp-rarchive.cloudera.com/redhat/cdh/3/var/www/html/cloudera-hadoop

这里是将对应的安装包和文件考到web目录下。

注意这里需要使用的httpd服务，没开启服务的话，使用servicehttpdstart开启，没有apache软件的话，使用sudoyuminstallapache安装。

然后自己做一个repo文件:

vicloudera-hadoop.repo

内容：

[cloudera-cdh3]

name=Cloudera'sDistributionforHadoop,Version3

baseurl=http://192.168.0.240/cloudera-hadoop/3/

gpgcheck=0

192.168.0.240是我机器在集群网段的IP。

第三步，集群yum配置。

将cloudera-hadoop.repo拷到集群机器的/etc/yum.repos.d/目录下。

然后在集群机器上更新yum：sudoyumupdateyum

在列表中看到hadoop的rpm包就差不多了。

接着，yuminstallhadoop-0.20//安装hadoop主文件

yuminstallhadoop-0.20-<daemontype>//安装hadoop相关配置

sudoyuminstall<CDH3-component-name>//安装hadoop相关组件

这里可以参考cloudera官网的有关说明：

https://docs.cloudera.com/display/DOC/CDH3+Installation

除了主节点外，其他节点配置相同可以用集群管理命令psh批量安装。