OpenStack环境下Hadoop2.2.0环境搭建
OpenStack目前已经成为众多云计算厂商搭建私有云的首选,众多学术机构也使用OpenStack搭建小规模测试环境供学生实验,在此分享使用OpenStack虚拟机搭建Hadoop2.2.0环境的过程。
1.VM环境准备
OpenStack版本:Folsom
a. 发起三台测试虚拟机,操作系统为 Ubuntu-12.04.2-x86_64
b. 配置IP地址,因为在F版本的OpenStack中,网络采用FlatDHCP模式使得虚拟机获得10.0.x.x段的Fixed IP地址,因此需要在虚拟机中配置/etc/hosts文件。
# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain
10.0.0.225 hdp-server-01
10.0.1.19 hdp-server-02
10.0.1.17 hdp-server-03
c. 用root在每台机器上新建用户 yarn,使用同样的密码
# useradd -m -s /bin/bash yarn
# passwd yarn
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
d. 设置ssh无密码互访
#每台机器
$ su yarn
$ cd ~
$ ssh-keygen -t rsa
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
#可以使用 ssh localhost 测试是否可以无密码访问
#相互之间可以将.ssh/authorized_keys的内容互拷到对方的.ssh/authorized_keys文件中。
e. 使用yarn账户,通过/etc/hosts文件中填写的主机名进行互访,并验证是否无密码登录。
因为采用64位的操作系统,因此不能够直接使用从官网下载的文件进行安装,必须手动编译。以下为编译过程:
2.编译Hadoop2.2.0
a. 配置JDK环境变量,假设jdk文件夹为/usr/java/jdk1.7.0_45
su yarn
# vim ~/.bashrc
# 追加写入
export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
$source ~/.bashrc #使设置生效
相关阅读: