分布式Hadoop1.2.1集群的安装

安装其实很简单，把下载下来的Hadoop文件拷贝到相应的目录下，然后接压缩即可，关键是先要安装好JDK,前期的Linux要配置好。

--------------------------------------分割线 --------------------------------------

--------------------------------------分割线 --------------------------------------

 下面我把我的操作过程记录如下，供大家参考:
 
登录到HadoopSrv01机器上，进行如下操作：
 1： su - grid
 2： tar -xvf hadoop-1.2.1-bin.tar.gz
 3： 解压缩后，会在/home/grid目录下 增加一个hadoop-1.2.1 目录
 4： cd hadoop-1.2.1 创建tmp目录 mkdir tmp
 5： cd conf目录，对hadoop-env.sh, core-site.xml， hdfs-site.xml，mapred-site.xml ，masters，slaves文件进行配置
 
6：修改hadoop-env.sh 文件，只需要设置 export JAVA_HOME=/usr/java/jdk1.8.0 即可，其他不需要修改。
 7：修改core-site.xml 文件，增加以下内容
 <property>
 <name>fs.default.name</name>
 <value>hdfs://HadoopSrv01:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/grid/hadoop-1.2.1/tmp</value>
 </property>
 

8：修改hdfs-site.xml,根据你自己的datanode节点数，设置复制因子。
 
<property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 

9：修改mapred-site.xml文件
 <property>
 <name>mapred.job.tracker</name>
 <value>HadoopSrv01:9001</value>
 </property>
 
10：修改masters,slaves 增加namenode,datanode节点配置。
 masters:
 HadoopSrv01
 slaves:
 HadoopSrv02
 HadoopSrv03
 
以上操作完毕后，就可以对Hadoop集群进行格式化，格式化的命令如下：
 
11： bin/hadoop namenode -format  记得要看清楚是否格式化成功
 
12：启动集群 bin/start-all.sh

13：检查各个节点 后台进程是否OK /usr/java/jdk1.8.0/bin/jps  正常应该包括以下后台进程：
 
NameNode，JobTracker，DataNode，TaskTracker
 
如果以上都能看到，就说明Hadoop分布式环境已经搭建OK。