Hadoop 2.5.2版本安装部署

Hadoop 2.5.2版本安装部署

软件及版本：

软件准备：

下载hadoop-2.5.2：

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.5.2.tar.gz

下载JDK：jdk-8u25-linux-i586.rpm
      http://www.Oracle.com/technetwork/java/javase/index.html

总体的流程如下：
1、实现ssh无密码验证配置
2、安装jdk，并配好环境变量
3、安装与配置Hadoop
4、格式化与启动
5、验证是否启动

 一.主机之间SSH无密码验证
 利用 :  ssh-kengen –t rsa 命令产生公钥，将个主机之间的公钥，相互拷贝到authorized_keys文件内。

 二.安装JDK
安装好后，用java -version 检验下

 配置环境变量:

###set java_env

export JAVA_HOME=/usr/java/jdk1.8.0_25/
export JRE_HOME=/usr/java/jdk1.8.0_25/jre
export CLASS_PATH=.:$CLASS_PATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

###set hadoop_env
export HADOOP_HOME=/home/linuxidc/hadoop-2.5.2
 
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_YARN_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
 
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"

三.部署配置Hadoop
解压Hadoop 到 自己的hadoop 目录

（1）hadoop/etc/hadoop/hadoop-env.sh 与 hadoop/etc/hadoop/yarn-env.sh来配置两个文件里的JAVA_HOME

（2）etc/hadoop/core-site.xml，配置为：

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/linuxidc/hadoop-2.5.2/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

 <name>fs.default.name</name>

 <value>hdfs://namenode:9000</value>

 </property>

 <property>

 <name>io.file.buffer.size</name>

 <value>131072</value>

 </property>

 <property>

 <name>hadoop.proxyuser.root.hosts</name>

 <value>namenode</value>

 </property> 

 <property>

 <name>hadoop.proxyuser.root.groups</name>

 <value>*</value>

 </property> 

 </configuration>

（3）etc/hadoop/hdfs-site.xml，配置为： （注意：这里需要自己手动用mkdir创建name和data文件夹，具体位置也可以自己选择，其中dfs.replication的值建议配置为与分布式 cluster 中实际的 DataNode 主机数一致。）

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/linuxidc/hadoop-2.5.2/hdfs/name</value>

<final>true</final>

</property>

<property>

<name>dfs.datanode.data.dir</name>

 <value>/home/linuxidc/hadoop-2.5.2/hdfs/data</value>

 <final>true</final>

 </property>

 <property>

 <name>dfs.replication</name>

 <value>2</value>

 </property>

 <property>

 <name>dfs.permissions</name>

 <value>false</value>

 </property>

 </configuration>