Hadoop,Hbase,Zookeeper在虚拟机单节点中的整合

整合Hadoop,Hbase,Zookeeper时遇到不少问题,经过一番苦战后终于整合成功,现将整合中遇到的一些问题整理一下。

前置说明:
版本:
JDK: 1.6.*
Hadoop: 0.20.2
Hbase: 0.90.4
Zookkeeper: 3.4.3
CentOS: CentOS release 5.3

节点数: 1 (虚拟机)

安装配置:
一、安装JDK

二、配置host
     修改配置 /etc/hosts 如下:
         192.168.0.23   hadoopName
     此hostname为hadoop、Hbase、Zookeeper配置文件中共同使用。这一步非常重要。也会涉及到windows中eclipse runonhadoop插件的运行。

二、安装Hadoop
      Hadoop安装比较容易,请参考《Hadoop权威指南》http://www.linuxidc.com/Linux/2011-11/47044.htm、《Hadoop实战》http://www.linuxidc.com/Linux/2012-01/52481.htm。

三、安装Zookeeper
      运行模式为:集群伪分布模式
      1、解压Zookeeper,将$ZK_INSTALL/bin加入环境变量。
      2、拷贝$ZK_INSTALL/conf下的zoo.example.cfg,分别复制为zoo1.cfg、zoo2.cfg、zoo3.cfg
      3、配置zoo*.cfg:
      zoo1.cfg
  1. # The number of milliseconds of each tick   
  2. tickTime=2000  
  3. # The number of ticks that the initial    
  4. # synchronization phase can take   
  5. initLimit=10  
  6. # The number of ticks that can pass between    
  7. # sending a request and getting an acknowledgement   
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.   
  10. dataDir=/usr/local/zookeeper-3.4.3/snapshot/d_1   
  11. # the port at which the clients will connect   
  12. clientPort=2181  
  13. #the location of the log file   
  14. dataLogDir=/usr/local/zookeeper-3.4.3/logs   
  15. server.[color=red]1[/color]=hadoopName:2887:3887  
  16. server.[color=red]2[/color]=hadoopName:2888:3888  
  17. server.[color=red]3[/color]=hadoopName:2889:3889  

相关推荐