hadoop经典系列(一)1.2.1真集群安装
实验环境
192.168.56.2Master.Hadoop
192.168.56.3Slave1.Hadoop
192.168.56.4Slave2.Hadoop
一安装JDK
#/etc/profile
exportJAVA_HOME=/usr/local/java/default
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#source/etc/profile
二无密码ssh登录（建议本机也弄）
#本地执行：生成密钥对
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
#远程服务器执行：用公钥给远程机器授权
#注意：在namenode上，为Secondarynamenode也需要操作一次本机的无密钥登陆
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
#远程机器授权全后，可以删除公钥
rm-rf~/.ssh/id_dsa.pub
三配置hadoop
1)配置conf/hadoop-env.sh
exportJAVA_HOME=/usr/local/java/default
2)配置conf/core-site.xml
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<!--备注：请先在/usr/hadoop目录下建立tmp文件夹-->
<description>Abaseforothertemporarydirectories.</description>
</property>
<!--filesystemproperties-->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.56.2:9000</value>
</property>
</configuration>
3)配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<!--备注：replication是数据副本数量，例如：设置为3的话，salve少于3台就会报错，副本数量没必要设置太多-->
</property>
<configuration>
4)配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.56.2:9001</value>
</property>
</configuration>
5)配置masters(secondaryNamenode)，使用hosts
Master.Hadoop
6)配置slaves，namenode特有datanode可以不配置，使用hosts
Slave1.Hadoop
Slave2.Hadoop
7）其他datanode复制namenode的hadoop即可
四启动
bin/hadoopnamenode-format
shbin/start-all.sh
验证端口，在namenode上
http://192.168.56.2:50030/
http://192.168.56.2:50070/
五扩展性
直接拷贝datanode到其他机器，同时增加配置namenode的masters即可
注意新扩展机器的hosts配置，如果用IP配置则可以不关心这个
注意：
namenode必须要配置masters和slaves
datanode只需要配置masters即可，不需要slaves的配置
其他配置完全相同
切记要配置无密码SSH登录，否则无法启动
切记启动之前，先要执行格式化命令bin/hadoopnamenode-format，否则无法启动
切记启动之前，要配置conf/hadoop-env.sh的JAVA_HOME，否则无法启动