基于Hadoop2.5.0的集群搭建
一、 规划
1. 准备安装包
JDK:http://download.Oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz
Hadoop:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz
Hive:http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
ZK:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
HBase:http://apache.fayea.com/apache-mirror/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz
MysqlConnector:http://ftp.nchu.edu.tw/Unix/Database/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.25.zip
Sqoop：complete based on sqoop-1.4.5 and current hadoop version
http://mirror.bit.edu.cn/apache/sqoop/1.4.5/sqoop-1.4.5.tar.gz
2. 环境规划
类型 | 名称 | 配置 | IP | 安装内容 |
Hadoop集群主节点 | mycluster1 | 16核*32G*2T | 192.168.2.92 | Hadoop |
mycluster2 | 16核*32G*6T | 192.168.2.88 | ||
Hadoop集群从节点 | mycluster3 | 4核*8G*250G | 192.168.1.84 | |
mycluster4 | 4核*8G*250G | 192.168.1.85 | ||
mycluster5 | 4核*8G*250G | 192.168.1.86 | ||
mycluster6 | 4核*8G*250G | 192.168.1.87 | ||
mycluster7 | 4核*8G*250G | 192.168.1.88 | ||
mycluster8 | 4核*8G*250G | 192.168.1.89 | ||
mycluster9 | 4核*8G*250G | 192.168.1.90 | ||
mycluster10 | 4核*8G*250G | 192.168.1.91 | ||
分布式应用 | mycluster11 | 4核*8G*250G | 192.168.1.92 | Hive Sqoop MySQL |
二、 安装
1. 环境配置
a) 基本配置
1. 配置各机器的机器名
vi /etc/sysconfig/network vi /etc/hosts hostname mycluster* |
2. 所有节点关闭防火墙
service iptables stop |
3. 将所有机器名配置到各机器中
vi /etc/hosts |
#127.0.0.1 localhost localhost.localdomain mycluster5 #::1 localhost localhost.localdomain mycluster5 # 这里注释掉关于localhost的配置，详情查看遇到的问题 # 因为zookeeper要求配置localhost，所以这里关于本地地址的配置改为如下： 127.0.0.1 localhost localhost.localdomain ::1 localhost localhost.localdomain
192.168.2.92 mycluster1 192.168.2.88 mycluster2 192.168.1.84 mycluster3 192.168.1.85 mycluster4 192.168.1.86 mycluster5 192.168.1.87 mycluster6 192.168.1.88 mycluster7 192.168.1.89 mycluster8 192.168.1.90 mycluster9 192.168.1.91 mycluster10 192.168.1.92 mycluster11 |
4. 保证各机器间时间差不超过2分钟
date date -s "2014-09-05 23:38:00" ntpdate time.windows.com clock -w | 查看 修改 若连通互联网，可同步微软 写入BIOS |
b) 打通SSH
1. 在各机器创建mycluster用户。以后的命令都在mycluster下执行。
groupadd mycluster useradd -g mycluster -G root -d /home/mycluster mycluster passwd qcpass@lh |
2. 在各Slave创建ssh目录。
mkdir /home/mycluster/.ssh chmod 700 /home/mycluster/.ssh | 目录权限必须是700，否则无法ssh登录 |
3. 登录Master，生成SSH公钥、私钥，复制公钥到各Slave。
ssh-keygen -t rsa cd /home/mycluster/.ssh
cp id_rsa.pub authorized_keys scp authorized_keys mycluster@mycluster*:/home/mycluster/.ssh |
c) 安装JDK1.7
1. 登录root用户安装JDK到/usr/java目录下。
tar -zxvf jdk-7u67-linux-x64.gz ln -s jdk1.7.0_67 jdk |
2. 配置环境变量。
vi /etc/profile vi .bashrc | 所有用户可见的方式 当前用户可见的方式 | |
export JAVA_HOME=/home/mycluster/jdk export CLASSPATH=. export PATH=$JAVA_HOME/bin:$PATH | ||
source /etc/profile env | grep JAVA_HOME | 生效 验证 | |