如何搭建Hadoop集群环境
第一步：安装
(1) 下载hadoop包 http://hadoop.apache.org/
(2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建)
(3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird
(4) 进入/home/gird 创建临时目录 tmp
(5) 配置 hadoop-env.sh, core-site.xml， hdfs-site.xml，mapred-site.xml ，masters，slaves文件
(6) 修改hadoop-env.sh 文件，只需要设置 export JAVA_HOME=/usr/java/jdk1.7.0 即可，其他不需要修改。
(7) 修改core-site.xml 文件，增加以下内容
<property>
<name>default.name</name>
<value>http://HadoopSrv01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/gird/hadoop-2.1.0/tmp</value>
</property>
(8) 修改hdfs-site.xml,根据你自己的datanode节点数，设置复制因子。
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
(9) 修改mapred-site.xml文件
<property>
<name>mapred.job.tracker</name>
<value>HadoopSrv01:9001</value>
</property>
(10) 修改masters,slaves 增加namenode,datanode节点配置。
masters:
HadoopSrv01
slaves:
HadoopSrv02
HadoopSrv03
(11) 格式化Hadoop集群 bin/hadoop namenode -format
(12) 启动集群 bin/start-all.sh
(13)检查后台进程是否OK /usr/java/jdk1.7.0/bin/jps
NameNode，JobTracker，DataNode，TaskTracker
如果以上都能看到，就说明Hadoop分布式环境搭建好了
第二步：测试
(1) 进入cd /home/gird mkdir input
(2) cd input
(3)通过输出重定向的方式，新增两个txt文件
echo "Hi everyone">Text1.txt
echo "Hi,Hadoop">Text2.txt
(4) 查看Hadoop HDFS里是否有东西
cd /home/gird/hadoop-2.1.0/bin/hadoop fs -ls
返回：ls: Cannot access .: No such file or directory
(5)把input目录下的文件拷贝到hadoop in目录下
bin/hadoop fs -put ../put ./in
提示错误：
put: org.apache.hadoop.hdfs.server .namenode.SafeModeException: Cannot create directory /user/gird/in. Name node is in safe mode.
执行:/home/gird/hadoop-2.1.0/bin/hadoop dfsadmin -safemode leave
(6) 执行example jar 进行统计分析。
/home/gird/hadoop-2.1.0/bin/hadoop jar hadoop-examples-2.1.0.jar wordcount in out
(7) 查看执行输出文件。
bin/hadoop fs -cat ./out/part-r-00000
返回：
Hadoop 1
Hi 2
everyone 1
第三步：配置SSH验证
(1) 依次登录登录到 HadoopSrv01，HadoopSrv02，HadoopSrv03,先进行(1)，(2)，(3)操作，然后进行第(4)步骤操作：
(1)：su - grid
(2): ssh-keygen -t rsa 全部默认，直接回车，不需要输入任何东西。
(3): cd .ssh 进入.ssh目录
(4):
HadoopSrv01上：
scp id_rsa.pub
scp id_rsa.pub
HadoopSrv02上：
scp id_rsa.pub
scp id_rsa.pub
HadoopSrv03上：
scp id_rsa.pub
scp id_rsa.pub
(2) 测试
ssh hostname 如果不需要输入密码就证明设置成功了。