Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4 + Hadoop_
一.环境准备
1. VMware workstation 9
2. Red Hat linux 6.4版本 32bit
3. JDK版本 jdk-7u45-linux-i586
4. Hadoop jar包 1.2.1版本32位
5. 远程登录及ftp工具(自选)
备注:
hadoop安装包下载下载地址:hadoop.apache.org
目前最新版本已经更新到2.2.0 发布版本
二.部署安装步骤
整体分为:
(1) 系统安装
(2) JDK安装及创建SSH无密码访问通讯连接
(3) Hadoop解压安装配置
(4) 配置网络域名解析及关闭放火墙
2.1 安装系统。
安装好虚拟机后,安装linux系统,注意网络连接方式选择桥接,其他配置根据个人机器情况自行配置。完全分布式共需要准备3个虚拟机。
--------------------------------------分割线 --------------------------------------
--------------------------------------分割线 --------------------------------------
我设置的实验虚拟机内存为512M 硬盘为10G:
节点 | 节点IP | 节点类型 |
Node01 | 10.55.15.89 | NameNode |
Node02 | 10.55.15.65 | DataNode |
Node03 | 10.55.15.91 | DataNade |
2.2 JDK安装及创建SSH无密码访问通讯连接
1. 首先为每台机安装JDK
使用root用户,执行rpm -ivh jdk-7u45-linux-i586.rpm
用安装结束后,使用java –version 检查是否安装好
2. SSH创建无密码访问:
a. 使用命令ssh-keygen -t rsa分别为三台节点机创建密钥:
此处,以其中一个节点为图例
中间过程一路回车就可以,无需填写任何东西
然后,打开隐藏目录.shh 查看密钥是否生成
b. 将共有密钥拷贝一份,重命名为authorized_keys
c. 将另外两台节点机的共有秒内容也拷贝到authorized_keys的内容中
d. 将文件 authorized_keys 拷贝到另外两台节点机 .shh 目录下
e. 配置hosts域名解析
f. 测试三台节点机的无密码访问联通性及自访问联通性