Fedora 15 部署Hadoop 0.21 全分布式模式 1namenode 2datanode

本文主要参考有 

准备工作
文中出现名词介绍

• alex,用户名,3台机器用户名一致
• master,namenode主机名
• slave[1-N],datanode主机名

1 安装系统,参考 http://blog.csdn.net/sunshine_okey/article/details/7010574
2 设置ip地址,3台机器最好是局域网里,在同一网段,
3 修改主机名,添加三台机器的ip及主机名

1. #vi /etc/sysconfig/network  //修改HOSTNAME=XX  
2. #vi/etc/hosts              //把默认的机器名localhost localhost.localhostlocalhst改为XX     
3.                            //并按照"ip 主机名 域名"格式添加ip地址和主机名的映射表,3台机器都要添加  
4.                            //本人的配置为 xx.xx.xx.xx alex alex  
5. #reboot                     //修改后重启机器

本人主机名分别为,master作为namenode,slave1,slave2作为datanode
4 关闭防火墙
1) 重启后生效 
开启： chkconfig iptables on 
关闭： chkconfig iptables off 

2) 即时生效，重启后失效 
开启： service iptables start 
关闭： service iptables stop 

需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。 

在开启了防火墙时，做如下设置，开启相关端口， 
修改/etc/sysconfig/iptables 文件，添加以下内容： 
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp-p tcp --dport 80 -j ACCEPT 
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp-p tcp --dport 22 -j ACCEPT
先用1),再用2)
5 开启ssh,实现master到slave1,slave2的无密码登录
6 安装jdk1.6以上,并指定JAVA_HOME
上面是前期准备工作,以下正是开始部署Hadoop,所有节点配置方式相同,所以这里我们只是配置master一台,然后再把配置后的文件直接复制到其他节点上
7 解压hadoop程序到当前用户目录,并建立连接,同时在/etc/profile环境变量中添加HADOOP_HOME=hadoop目录

1. tar  -zxvf  hadoop-0.21.0.tar.gz  
2. ln  -s  hadoop-0.21.0  hadoop  

8 进入hadoop/conf中,修改slaves
去掉localhost,添加如下

1. slave1  
2. slave2 

修改master
去掉localhost,添加如下

master  

 配置hadoop
 修改core-site.xml
core-site.xml中在<configuration></configuration>修中添加项如下:

1. <property>  
2.   <name>hadoop.tmp.dir</name>  
3.   <value>/home/alex/hadoop/tmp</value>  
4. </property>  
5. <property>  
6.   <name>fs.defaultFS</name>  
7.   <value>hdfs://master:9000</value>  
8. </property>  

修改hdfs-site.xml


这里修改的是文件存储时备份的数量,按照自己的要求来,默认为3个副本