安科网

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解

yinlell

yinlell

2018-03-19

关注 关注

一、环境说明

个人理解：

ZooKeeper可以独立搭建集群，HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。

集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：

IP    角色
10.10.50.133 master
10.10.125.156 slave1
10.10.114.112 slave2

三个节点均使用CentOS 6.5系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同Hadoop、Hbase、zookeeper目录结构。

注：
 主机名和角色最好保持一致，如果不同也没关系，只需要在/etc/hosts中配置好对应关系即可
 可以通过编辑/etc/sysconfig/network文件来修改 hostname

软件包下载准备：
hadoop-2.7.3.tar.gz
 hbase-1.2.5-bin.tar.gz
 zookeeper-3.4.6.tar.gz
 jdk-8u111-linux-x64.rpm

因为是测试环境此次都使用root来操作，如果是生产环境建议使用其他用户如hadoop，需要给目录授权为hadoop
 chown -R hadoop.hadoop /data/yunva

二、准备工作

2.1 安装JDK

在三台机器上配置JDK环境，下载 jdk-8u111-linux-x64.rpm 文件直接安装：

# rpm -ivh jdk-8u111-linux-x64.rpm

修改配置文件 vim /etc/profile：

export JAVA_HOME=/usr/java/jdk1.8.0_111  # 不同的jdk路径需要修改此项
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_SSH_OPTS="-p 48490"  # 非默认ssh的22号端口需要添加此项，表示端口为48490

因本次部署环境，jdk不同所以需要单独修改配置：
master
 export JAVA_HOME=/usr/java/jdk1.8.0_111

slave1
 export JAVA_HOME=/usr/java/jdk1.8.0_65

slave2
 export JAVA_HOME=/usr/java/jdk1.8.0_102

然后重新加载配置文件使之生效：

# source /etc/profile

2.2 添加Hosts映射关系

分别在三个节点上添加hosts映射关系：

# vim /etc/hosts

添加的内容如下：

10.10.50.133 master
 10.10.125.156 slave1
 10.10.114.112 slave2

2.3 集群之间SSH无密码登陆

CentOS默认安装了ssh，如果没有你需要先安装ssh 。

集群环境的使用必须通过ssh无密码登陆来执行，本机登陆本机必须无密码登陆，主机与从机之间必须可以双向无密码登陆，从机与从机之间无限制。

2.3.1 设置master无密码自动登陆slave1和slave2

主要有三步：
①生成公钥和私钥
②导入公钥到认证文件
③更改权限

# ssh-keygen -t rsa
 # cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 # chmod 700 ~/.ssh && chmod 600 ~/.ssh/*

测试，第一次登录可能需要yes确认，之后就可以直接登录了：

# ssh master
 # ssh slave1
 # ssh slave2

对于 slave1 和 slave2，进行无密码自登陆设置，操作同上。

也有个快捷的操作方式，当所有的服务器都ssh-keygen -t rsa生成公钥后，在master上操作无密码登陆master/slave1/slave2成功后，直接拷贝给其他主机即可
 然后，将证书文件复制到其他机器的用户主目录下
# scp -P 48490 authorized_keys master:/root/.ssh/
 # scp -P 48490 authorized_keys slave1:/root/.ssh/
 # scp -P 48490 authorized_keys slave2:/root/.ssh/

三、Hadoop集群安装配置

这里会将hadoop、hbase、zookeeper的安装包都解压到/data/yunva/文件夹下，并重命名
 安装目录如下:
 /data/yunva/hadoop-2.7.3
 /data/yunva/hbase-1.2.5
 /data/yunva/zookeeper-3.4.6

3.1 修改hadoop配置

配置文件都在/data/yunva/hadoop-2.7.3/etc/hadoop/目录下

3.1.1 core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
 </configuration>

3.1.2 hadoop-env.sh
添加JDK路径，如果不同的服务器jdk路径不同需要单独修改：
export JAVA_HOME=/usr/java/jdk1.8.0_111

3.1.3 hdfs-site.xml
 # 创建hadoop的数据和用户目录
# mkdir -p /data/yunva/hadoop-2.7.3/hadoop/name
 # mkdir -p /data/yunva/hadoop-2.7.3/hadoop/data

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/data/yunva/hadoop-2.7.3/hadoop/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/data/yunva/hadoop-2.7.3/hadoop/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 </configuration>

3.1.4 mapred-site.xml

# mv mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
 </configuration>

3.1.5 修改slaves文件，localhost改为
# cat /data/yunva/hadoop-2.7.3/etc/hadoop/slaves

slave1
 slave2

注意：三台机器上都进行相同的配置，都放在相同的路径下(如果jdk路径不同需要单独修改)
使用scp命令进行从本地到远程（或远程到本地）的轻松文件传输操作：

scp -r /data/yunva/hadoop-2.7.3/    slave1:/data/yunva
 scp -r /data/yunva/hadoop-2.7.3/    slave2:/data/yunva
 3.2 启动hadoop集群

进入master的/data/yunva/hadoop-2.7.3/目录，执行以下操作：

# bin/hadoop namenode -format

格式化namenode，第一次启动服务前执行的操作，以后不需要执行。

然后启动hadoop：

# sbin/start-all.sh

通过jps命令能看到除jps外有3个进程：

# jps

30613 NameNode
 30807 SecondaryNameNode
 887 Jps
 30972 ResourceManager

hbase-env.sh(java路径不同需要修改)

master

export JAVA_HOME=/usr/java/jdk1.8.0_111
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"  # 非默认ssh的22端口需要添加此项表示ssh为48490

slave1
 export JAVA_HOME=/usr/java/jdk1.8.0_65
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"

slave2

export JAVA_HOME=/usr/java/jdk1.8.0_102
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"

四、ZooKeeper集群安装配置

五、HBase集群安装配置
配置文件目录/data/yunva/hbase-1.2.5/conf

5.1 hbase-env.sh
 export JAVA_HOME=/usr/java/jdk1.8.0_111  # 如果jdk路径不同需要单独配置
export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"  # ssh端口非默认22需要修改

5.2 hbase-site.xml(保持一致)

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>master</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
    </property>
    <property>
        <name>zookeeper.session.timeout</name>
        <value>60000000</value>
    </property>
    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
 </configuration>

5.3 更改 regionservers

在 regionservers 文件中添加slave列表：

slave1
slave2

5.4 分发并同步安装包

将整个hbase安装目录都拷贝到所有slave服务器：

$ scp -P 48490 -r /data/yunva/hbase-1.2.5  slave1:/data/yunva/
 $ scp -P 48490 -r /data/yunva/hbase-1.2.5  slave2:/data/yunva/

六、启动集群

1. 启动ZooKeeper

/data/yunva/zookeeper-3.4.6/bin/zkServer.sh start

2. 启动hadoop

/data/yunva/hadoop-2.7.3/sbin/start-all.sh

3. 启动hbase

/data/yunva/hbase-1.2.5/bin/start-hbase.sh

4. 启动后，master上进程和slave进程列表

[root@master ~]# jps
 Jps
 SecondaryNameNode  # hadoop进程
NameNode            # hadoop master进程
ResourceManager    # hadoop进程
HMaster            # hbase master进程
ZooKeeperMain      # zookeeper进程

[root@slave1 ~]# jps
 Jps
 ZooKeeperMain      # zookeeper进程
DataNode            # hadoop slave进程
HRegionServer        # hbase slave进程

5. 进入hbase shell进行验证

# cd /data/yunva/hbase-1.2.5/
[root@test6_vedio hbase-1.2.5]# bin/hbase shell
2017-04-28 09:51:51,479 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/data/yunva/hbase-1.2.5/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/data/yunva/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.5, rd7b05f79dee10e0ada614765bb354b93d615a157, Wed Mar  1 00:34:48 CST 2017

hbase(main):001:0> list
TABLE                                                                                                                                                                     
0 row(s) in 0.2620 seconds

=> []

hbase(main):003:0> create 'scores', 'grade', 'course'
0 row(s) in 1.3300 seconds

=> Hbase::Table - scores
hbase(main):004:0> list
TABLE                                                                                                                                                                     
scores                                                                                                                                                                   
1 row(s) in 0.0100 seconds

=> ["scores"]

6. 进入zookeeper shell进行验证

[root@test6_vedio zookeeper-3.4.6]# bin/zkCli.sh -server

2017-04-28 10:04:33,083 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2017-04-28 10:04:33,088 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=test6_vedio
2017-04-28 10:04:33,088 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_111
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_111/jre
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/data/yunva/zookeeper-3.4.6/bin/../build/classes:/data/yunva/zookeeper-3.4.6/bin/../build/lib/*.jar:/data/yunva/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/data/yunva/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/data/yunva/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/data/yunva/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/data/yunva/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/data/yunva/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/data/yunva/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/data/yunva/zookeeper-3.4.6/bin/../conf:
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-04-28 10:04:33,091 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=2.6.32-431.11.25.el6.ucloud.x86_64
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2017-04-28 10:04:33,092 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/data/yunva/zookeeper-3.4.6
2017-04-28 10:04:33,094 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@446cdf90
Welcome to ZooKeeper!
2017-04-28 10:04:33,128 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@975] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-04-28 10:04:33,209 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@852] - Socket connection established to localhost/127.0.0.1:2181, initiating session
2017-04-28 10:04:33,218 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x35bb23d68ba0003, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /

zookeeper  hbase

[zk: localhost:2181(CONNECTED) 0] ls /hbase
[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, master, running, recovering-regions, draining, namespace, hbaseid, table]

如果访问默认的http管理端口页面可以看到集群的情况
hadoop：
http://IP:8088/cluster/cluster

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解

hbase：
http://IP:16010/master-status

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解

hdfs:
http://IP:50070/dfshealth.html#tab-overview

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解

完整文档可以到安科网资源站下载：

------------------------------------------分割线------------------------------------------

具体下载目录在 /2018年资料/3月/19日/Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解/

------------------------------------------分割线------------------------------------------

hadoop 分布式部署 hadoop集群搭建

yinlell

yinlell

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Hadoop基础（三十三）：Zookeeper 分布式安装部署

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。A 是一个数字，表示这个是第几号服务器；就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比。较从而

deyu 2020-07-21

hadoop 伪分布式单机部署练习hive

usermod -a -G hadoop haddop 第一个hadoop是组名，-a 防止其他用户组的hadoop离开，保持旧的用户组拥有hadoop用户状态。但事实上在生产系统里，NameNode、DataNode等进程都应单独配置目录，而且配置的应该

taisenki 2020-05-27

Hadoop3.2.0集群搭建常见注意事项

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:. 如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:. hdfs应该配置成namno

changjiang 2020-11-16

hadoop伪分布式环境搭建

core-site.xml文件主要配置了访问Hadoop集群的主要信息，其中master代表主机名称，也可以使用IP替换，9000代表端口。外部通过配置的hdfs：//master：9000信息，就可以找到Hadoop集群。hdfs-site.xml配置文

WeiHHH 2020-09-23

hadoop 3.2.x 高可用集群搭建

配置 hadoop 高可用集群的原因：如果集群只有一个 NameNode，若NameNode 节点出现故障，那么整个集群都无法使用，也就是存在单点故障的隐患，hadoop 高可用集群能够实现 standby NameNode 自动切换为 active。HA

飞鸿踏雪0 2020-06-12

为什么Java仍将是未来的主流语言？

Java是一种通用编程语言，1995年由Sun Micro-systems公司开发。尽管已经有25年的历史，但它仍然统治着整个世界。根据Stack-overflow的开发者调查，它在2019年最受欢迎的语言中排名第5。超过41%的调查用户将Java标记为

minerd 2020-10-28

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

datanode会主动Namenode请求。这样服役新的节点就做完了。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建

Aleks 2020-08-19

Hadoop（一）安装

################ hadoop fs 文件系统 ####################. ################ hadoop mapreduce 计算框架 ####################. #############

WeiHHH 2020-08-17

第四周练习

13、添加用户bash,testbash,basher,nologin,而后找出当前系统上其用户名和默认shell相同的用户的信息

jackydai 2020-07-28

Hadoop小练习

Hadoop和HDFS内容：1.什么是HDFS文件系统？HDFS是大数据开源框架hadoop的组件之一，全称，它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色.

飞鸿踏雪0 2020-07-26

hadoop框架三大组件hdfs、mapreduce、yarn 内容

1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4）MapReduce编程

tomli 2020-07-26

Hadoop基础（二十二）：Shuffle机制（三）

统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能。public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWr

strongyoung 2020-07-19

hdfs、hive、hbase的搭建总结

-- 完全分布式文件系统的名称 ：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

eternityzzy 2020-07-19

NameNode和Zookeeper的format作用

在我们安装高可用hadoop集群时，我们会按照以下命令去执行启动操作；??在备namenode节点同步元数据??那么我们为什么要对NameNode和Zookeeper进行format操作；core-site.xml 是 NameNode 的核心配置文件，主

Elmo 2020-07-19

hadoop集群的启动与停止

漫长的启动时间…………思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？早上来了开始一个一个节点启动，到晚上下班刚好完成，下班？这些名称是我的三台机器的主机名，各位请改成自己的主机名！如果集群是第一次启动，需要格式化NameNode，这里使用

飞鸿踏雪0 2020-07-09

JStorm介绍

JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的worke

csdnhadoop 1评论 2020-07-04

Hadoop2.7.7 centos7 完全分布式 配置与问题随记

三台机器之间的免密登陆ssh. 说明ip映射没有配置正确，正确的方式是在每一个节点上，都执行"内外外"的配置方式，即将本机与本机的内网ip对应，其他机器设置为外网ip. --SecondayNameNode默认与NameNode在同一台

飞鸿踏雪0 2020-07-04

Hadoop Yarn工作机制 Job提交流程

MR程序提交到客户端所在的节点。YarnRunner向ResourceManager申请一个Application。RM将该应用程序的资源路径返回给YarnRunner。RM将用户的请求初始化成一个Task。其中一个NodeManager领取到Task任务

xieting 2020-07-04

【赵强老师】大数据工作流引擎Oozie

工作流就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。Java的三大主流工作流引擎分别是：Shark，osworkflow，JBPM. Oozie Server负责接收客户端请求、调度

WeiHHH 2020-06-28

Hadoop

Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运行在计算机集群中，用于管理 Hadoop 集群。像 Pig 一样，Hive 作为一个抽象层工具，吸引了很多熟悉 SQL 而不是 Java 编程

genshengxiao 2020-06-26
yinlell

yinlell

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号