Ubuntu下Hadoop全分布安装

个人历时3天遭遇各种问题才安装好，虽然网上很多教程，但是还是自己写一个总结一下

1．实验环境

Ubuntu12.04

Hadoop1.2.1

Java1.6.0_13

2．实验准备

1.在所有机器上安装ubuntu12.04，过程不赘述。

在安装过程中命名所有的用户名是hadoop，机器名分别为minglaihan，node1，node2，其中minglaihan作为主节点，其他两个是从节点。

2.在所有机器上执行：

sudo gedit etc/hosts

添加如下地址：

192.168.1.104 minglaihan

192.168.1.109 node1

192.168.1.110 node2

3.保证你的用户拥有root级别

用gedit或者vim，

sudo gedit etc/sudoers

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL。

3．安装过程

安装java
三台机器上都执行:

指令：cd ~/java

unzip jdk-6u13-linux-i586.zip

chmod +x jdk-6u13-linux-i586.bin

sudo ./ jdk-6u13-linux-i586.bin

接下来按Enter以及yes就可以了

Java安装好之后，在bash.bashrc里添加java路径

sudo gedit etc/bash.bashrc

添加：export JAVA_HOME=/home/hadoop/java/jdk1.6.0_13

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

然后就可以查看java –version。

安装ssh
三台机器上都执行：

sudo apt-get install ssh

安装完成后执行ssh localhost即可登录自身的ssh,

exit退出

配置ssh无密码登陆
Ssh的一个重要特点就是可以远程访问，接下来我们实现相互访问不需要密码。

在所有机器上执行:

cd ~/.ssh

ssh-keygen -t rsa -P “”之后一直按回车，然后可以看见提示生成密钥。

将id_rsa.pub追加到authorized_keys授权文件中

cat id_rsa.pub >> authorized_keys

然后在主节点minglaihan上执行：

进入/home/hadoop/.ssh目录中，复制authorized_keys到node1的.ssh文件夹中

scp authorized_keys hadoop@node1:/home/hadoop/.ssh

scp authorized_keys hadoop@node2:/home/hadoop/.ssh

接下来使用ssh node1和ssh node2就可以无密码访问了

安装hadoop
首先在所有机器上执行解压缩操作

tar zxvf hadoop-1.2.1.tar.gz

然后开始修改hadoop/conf里面的配置文件

①  core-sie.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-1.2.1/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://minglaihan:9000</value>

<description>

The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri’s scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri’s authority is used to determine the host, port, etc. for a filesystem.

</description>

</property>

</configuration>

②  hadoop-env.sh

添加：export JAVA_HOME=/home/hadoop/java/jdk1.6.0_13

相关阅读：