Hadoop 2.4 完全分布式环境安装与配置
依赖项
Java
1. 从http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载tar.gz格式的，32位和64位机器对应下载，这里下的是64位的
wget http://download.oracle.com/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-x64.tar.gz
2. 解压到/usr/local
tar -jxvf jdk-7u51-linux-x64.tar.gz -C /usr/local
3. 配置符号链接：cd /usr/local; ln -snf jdk1.7.0_45/ jdk
4. 配置环境变量到~/.bashrc
export JAVA_HOME="/usr/local/jdk"
export PATH="$JAVA_HOME/bin:$PATH"
5. 命令行下使用java、javax命令判断是否安装成功。
6. 在其他机器上
Hosts
所有的节点都修改/etc/hosts，使彼此之间都能把主机名解析为ip
--------------------------------------分割线 --------------------------------------
--------------------------------------分割线 --------------------------------------
SSH 无密码登陆
首先要配置本机的SSH服务器，运行 ps -e | grep ssh，查看是否有sshd进程，如果没有，说明server没启动，通过 /etc/init.d/ssh -start 启动server进程，如果提示ssh不存在 那么就是没安装server。Ubuntu下通过 sudo apt-get install openssh-server命令安装即可。
（1）生成当前用户的SSH公钥。
$ ssh-keygen -t rsa -P ''
它在/home/[你当前登录的用户名] 下生成.ssh目录（root用户即是在/root目录下），.ssh下有id_rsa和id_rsa.pub。id_rsa.pub即是本地SSH生成的公钥文件。客户端机器将id_rsa.pub文件添加到自己的~/.ssh/authorized_keys文件中即可免密码登录到本机。
（2）将~/.ssh/id_rsa.pub添加到目标机器的~/.ssh/authorized_keys文件中
•如果是本机的操作，则使用
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将要登录的机器的公钥添加到本地的认证密钥库中。注意这里必须要用>>操作符进行追加操作。
使用
ssh localhost
命令即可免密码登录到本地。
•如果是将自己的公钥发送到别的机器上。
可以使用
scp ~/.ssh/id_rsa.pub [email protected]:.ssh/id_rsa.pub
这条scp命令进行文件上传操作。
安装Hadoop
下载Hadoop
最新版本hadoop-2.4.0安装包为 hadoop-2.4.0.tar.gz
下载官网地址 :http://www.apache.org/dyn/closer.cgi/hadoop/common/
下载到 /opt/hadoop/source 目录下
wget http://ftp.riken.jp/net/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz
解压目录
tar zxvf hadoop-2.4.0.tar.gz
最终是这样子：
环境配置项
配置环境变量：
vim /etc/profile
添加
export HADOOP_DEV_HOME=/opt/hadoop/source
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop