Hadoop,Hbase,Zookeeper在虚拟机单节点中的整合
整合Hadoop,Hbase,Zookeeper时遇到不少问题,经过一番苦战后终于整合成功,现将整合中遇到的一些问题整理一下。
前置说明:
版本:
JDK: 1.6.*
Hadoop: 0.20.2
Hbase: 0.90.4
Zookkeeper: 3.4.3
CentOS: CentOS release 5.3
节点数: 1 (虚拟机)
安装配置:
一、安装JDK
二、配置host
修改配置 /etc/hosts 如下:
192.168.0.23 hadoopName
此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。也会涉及到windows中eclipse runonhadoop插件的运行。
二、安装Hadoop
Hadoop安装比较容易,请参考《Hadoop权威指南》http://www.linuxidc.com/Linux/2011-11/47044.htm、《Hadoop实战》http://www.linuxidc.com/Linux/2012-01/52481.htm。
三、安装Zookeeper
运行模式为:集群伪分布模式
1、解压Zookeeper,将$ZK_INSTALL/bin加入环境变量。
2、拷贝$ZK_INSTALL/conf下的zoo.example.cfg,分别复制为zoo1.cfg、zoo2.cfg、zoo3.cfg
3、配置zoo*.cfg:
zoo1.cfg
前置说明:
版本:
JDK: 1.6.*
Hadoop: 0.20.2
Hbase: 0.90.4
Zookkeeper: 3.4.3
CentOS: CentOS release 5.3
节点数: 1 (虚拟机)
安装配置:
一、安装JDK
二、配置host
修改配置 /etc/hosts 如下:
192.168.0.23 hadoopName
此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。也会涉及到windows中eclipse runonhadoop插件的运行。
二、安装Hadoop
Hadoop安装比较容易,请参考《Hadoop权威指南》http://www.linuxidc.com/Linux/2011-11/47044.htm、《Hadoop实战》http://www.linuxidc.com/Linux/2012-01/52481.htm。
三、安装Zookeeper
运行模式为:集群伪分布模式
1、解压Zookeeper,将$ZK_INSTALL/bin加入环境变量。
2、拷贝$ZK_INSTALL/conf下的zoo.example.cfg,分别复制为zoo1.cfg、zoo2.cfg、zoo3.cfg
3、配置zoo*.cfg:
zoo1.cfg
- # The number of milliseconds of each tick
- tickTime=2000
- # The number of ticks that the initial
- # synchronization phase can take
- initLimit=10
- # The number of ticks that can pass between
- # sending a request and getting an acknowledgement
- syncLimit=5
- # the directory where the snapshot is stored.
- dataDir=/usr/local/zookeeper-3.4.3/snapshot/d_1
- # the port at which the clients will connect
- clientPort=2181
- #the location of the log file
- dataLogDir=/usr/local/zookeeper-3.4.3/logs
- server.[color=red]1[/color]=hadoopName:2887:3887
- server.[color=red]2[/color]=hadoopName:2888:3888
- server.[color=red]3[/color]=hadoopName:2889:3889
相关推荐
eternityzzy 2020-07-19
鲸鱼写程序 2020-06-08
strongyoung 2020-06-04
WeiHHH 2020-05-30
deyu 2020-07-21
Elmo 2020-07-19
changjiang 2020-11-16
minerd 2020-10-28
WeiHHH 2020-09-23
Aleks 2020-08-19
WeiHHH 2020-08-17
飞鸿踏雪0 2020-07-26
tomli 2020-07-26
strongyoung 2020-07-19
飞鸿踏雪0 2020-07-09
飞鸿踏雪0 2020-07-04