安科网

Docker搭建Zookeeper&Kafka集群的实现

PoppyEvan

PoppyEvan

2019-08-29

关注 关注

最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。

环境准备

一台可以上网且有CentOS7虚拟机的电脑

为什么使用虚拟机？因为使用的笔记本，所以每次连接网络IP都会改变，还要总是修改配置文件的，过于繁琐，不方便测试。（通过Docker虚拟网络的方式可以避免此问题，当时实验的时候没有了解到）

Docker 安装

如果已经安装Docker请忽略此步骤

  • Docker支持以下的CentOS版本：
  • CentOS 7 (64-bit)：要求系统为64位、系统内核版本为 3.10 以上。
  • CentOS 6.5（64-bit）或更高的版本：要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。
  • CentOS 仅发行版本中的内核支持 Docker。

yum安装

Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看上文的前提条件来验证你的CentOS 版本是否支持 Docker 。

# 查看内核版本
$ uname -a
#安装 Docker
$ yum -y install docker
#启动 Docker 后台服务
$ service docker start
# 由于本地没有hello-world这个镜像，所以会下载一个hello-world的镜像，并在容器内运行。
$ docker run hello-world

脚本安装

使用 sudo 或 root 权限登录 Centos。

确保 yum 包更新到最新。

$ sudo yum update

获取并执行 Docker 安装脚本。

$ curl -fsSL https://get.docker.com -o get-docker.sh
# 执行这个脚本会添加 docker.repo 源并安装 Docker。
$ sudo sh get-docker.sh

启动Docker

$ sudo systemctl start docker
# 验证 docker 是否安装成功并在容器中执行一个测试的镜像。
$ sudo docker run hello-world
$ docker ps

镜像加速

开始让我配置国内镜像源的时候我是拒绝的，但是使用之后发现那下载速度 duang~ 的一下就上去了。所以强烈建议大家配置国内镜像源。

打开/创建 /etc/docker/daemon.json 文件，添加以下内容：

{
 "registry-mirrors": ["http://hub-mirror.c.163.com"]
}

Zookeeper集群搭建

Zookeeper镜像：zookeeper:3.4

镜像准备

$ docker pull zookeeper:3.4

查找镜像可以去 https://hub.docker.com/

docker pull images:TAG // 代表拉取 TAG 版本的 image 镜像

建立独立Zookeeper容器

我们首先用最简单的方式创建一个独立的Zookeeper节点，然后我们根据这个例子创建出其他的节点。

$ docker run --name zookeeper -p 2181:2181 -d zookeeper:3.4

默认的，容器内配置文件在， /conf/zoo.cfg，数据和日志目录默认在 /data 和 /datalog，需要的话可以将上述目录映射到宿主机。

参数解释

--name：指定容器名字
-p：为容器暴露出来的端口分配端口号
-d：在后台运行容器并打印容器ID

集群搭建

其它节点的Zookeeper容器创建方式与创建独立容器类似，需要注意的是，要分别指定节点的id和修改文件中多节点的配置，相应的创建命令如下：

新建docker网络

$ docker network create zoo_kafka
$ docker network ls

Zookeeper容器1

$ docker run -d \
   --restart=always \
   -v /opt/docker/zookeeper/zoo1/data:/data \
   -v /opt/docker/zookeeper/zoo1/datalog:/datalog \
   -e ZOO_MY_ID=1 \
   -p 2181:2181 \
   -e ZOO_SERVERS="server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888" \
   --name=zoo1 \
   --net=viemall-zookeeper \
   --privileged \
   zookeeper:3.4

Zookeeper容器2

$ docker run -d \
   --restart=always \
   -v /opt/docker/zookeeper/zoo2/data:/data \
   -v /opt/docker/zookeeper/zoo2/datalog:/datalog \
   -e ZOO_MY_ID=2 \
   -p 2182:2181 \
   -e ZOO_SERVERS="server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888" \
   --name=zoo2 \
   --net=viemall-zookeeper \
   --privileged \
   zookeeper:3.4

Zookeeper容器3

$ docker run -d \
   --restart=always \
   -v /opt/docker/zookeeper/zoo3/data:/data \
   -v /opt/docker/zookeeper/zoo3/datalog:/datalog \
   -e ZOO_MY_ID=3 \
   -p 2183:2181 \
   -e ZOO_SERVERS="server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888" \
   --name=zoo3 \
   --net=viemall-zookeeper \
   --privileged \
   zookeeper:3.4

这种方式虽然也实现了我们想要的，但是步骤过于繁琐，而且维护起来麻烦（懒癌晚期），所以我们使用 docker-compose 的方式来实现。

docker-compose 搭建zookeeper集群

新建docker网络

$ docker network create viemall-zookeeper
$ docker network ls

编写 docker-compose.yml 脚本

使用方式：

安装 docker-compose

# 获取脚本
$ curl -L https://github.com/docker/compose/releases/download/1.25.0-rc2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
# 赋予执行权限
$chmod +x /usr/local/bin/docker-compose

任意目录下新建 docker-compose.yml 文件，复制以下内容

执行命令 docker-compose up -d

命令对照
|命令|解释|
|-|-|
|docker-compose up|启动所有容器|
|docker-compose up -d|后台启动并运行所有容器|
|docker-compose up --no-recreate -d|不重新创建已经停止的容器|
|docker-compose up -d test2|只启动test2这个容器|
|docker-compose stop|停止容器|
|docker-compose start|启动容器|
|docker-compose down|停止并销毁容器|

docker-compose.yml下载地址：https://github.com/JacianLiu/docker-compose/tree/master/zookeeper
docker-compose.yml详情

version: '2'
services:
 zoo1:
  image: zookeeper:3.4 # 镜像名称
  restart: always # 当发生错误时自动重启
  hostname: zoo1
  container_name: zoo1
  privileged: true
  ports: # 端口
   - 2181:2181
  volumes: # 挂载数据卷
   - ./zoo1/data:/data
   - ./zoo1/datalog:/datalog 
  environment:
   TZ: Asia/Shanghai
   ZOO_MY_ID: 1 # 节点ID
   ZOO_PORT: 2181 # zookeeper端口号
   ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表
  networks:
   default:
    ipv4_address: 172.23.0.11

 zoo2:
  image: zookeeper:3.4
  restart: always
  hostname: zoo2
  container_name: zoo2
  privileged: true
  ports:
   - 2182:2181
  volumes:
   - ./zoo2/data:/data
   - ./zoo2/datalog:/datalog
  environment:
   TZ: Asia/Shanghai
   ZOO_MY_ID: 2
   ZOO_PORT: 2181
   ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
  networks:
   default:
    ipv4_address: 172.23.0.12

 zoo3:
  image: zookeeper:3.4
  restart: always
  hostname: zoo3
  container_name: zoo3
  privileged: true
  ports:
   - 2183:2181
  volumes:
   - ./zoo3/data:/data
   - ./zoo3/datalog:/datalog
  environment:
   TZ: Asia/Shanghai
   ZOO_MY_ID: 3
   ZOO_PORT: 2181
   ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
  networks:
   default:
    ipv4_address: 172.23.0.13

networks:
 default:
  external:
   name: zoo_kafka

验证

从图中我们可以看出，有一个Leader，两个Flower，至此我们的Zookeeper集群就已经搭建好了

Docker搭建Zookeeper&Kafka集群的实现

Kafka集群搭建

有了上面的基础，再去搞Kafka集群还是问题吗？其实就是几个变量值不同而已。

有了上边的例子，就不费劲去搞单节点的Kafka了，直接使用docker-compose的方式，部署三个节点，其实方式大同小异，上边也说到，其实就是一些属性不同而已；这时候我们就不需要再去新建 Docker 网络了，直接使用前边搭建 Zookeeper 集群时创建的网络即可！

环境准备

Kafka镜像：wurstmeister/kafka
Kafka-Manager镜像：sheepkiller/kafka-manager

# 不指定版本默认拉取最新版本的镜像
docker pull wurstmeister/kafka
docker pull sheepkiller/kafka-manager

编写 docker-compose.yml 脚本

使用方式：

安装 docker-compose

# 获取脚本
$ curl -L https://github.com/docker/compose/releases/download/1.25.0-rc2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
# 赋予执行权限
$chmod +x /usr/local/bin/docker-compose

任意目录下新建 docker-compose.yml 文件，复制以下内容

执行命令 docker-compose up -d

命令对照
|命令|解释|
|-|-|-|
|docker-compose up|启动所有容器|
|docker-compose up -d|后台启动并运行所有容器|
|docker-compose up --no-recreate -d|不重新创建已经停止的容器|
|docker-compose up -d test2|只启动test2这个容器|
|docker-compose stop|停止容器|
|docker-compose start|启动容器|
|docker-compose down|停止并销毁容器|

docker-compose.yml下载地址：https://github.com/JacianLiu/docker-compose/tree/master/zookeeper
docker-compose.yml详细内容

version: '2'

services:
 broker1:
  image: wurstmeister/kafka
  restart: always
  hostname: broker1
  container_name: broker1
  privileged: true
  ports:
   - "9091:9092"
  environment:
   KAFKA_BROKER_ID: 1
   KAFKA_LISTENERS: PLAINTEXT://broker1:9092
   KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker1:9092
   KAFKA_ADVERTISED_HOST_NAME: broker1
   KAFKA_ADVERTISED_PORT: 9092
   KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
   JMX_PORT: 9988
  volumes:
   - /var/run/docker.sock:/var/run/docker.sock
   - ./broker1:/kafka/kafka\-logs\-broker1
  external_links:
  - zoo1
  - zoo2
  - zoo3
  networks:
   default:
    ipv4_address: 172.23.0.14

 broker2:
  image: wurstmeister/kafka
  restart: always
  hostname: broker2
  container_name: broker2
  privileged: true
  ports:
   - "9092:9092"
  environment:
   KAFKA_BROKER_ID: 2
   KAFKA_LISTENERS: PLAINTEXT://broker2:9092
   KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker2:9092
   KAFKA_ADVERTISED_HOST_NAME: broker2
   KAFKA_ADVERTISED_PORT: 9092
   KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
   JMX_PORT: 9988
  volumes:
   - /var/run/docker.sock:/var/run/docker.sock
   - ./broker2:/kafka/kafka\-logs\-broker2
  external_links: # 连接本compose文件以外的container
  - zoo1
  - zoo2
  - zoo3
  networks:
   default:
    ipv4_address: 172.23.0.15

 broker3:
  image: wurstmeister/kafka
  restart: always
  hostname: broker3
  container_name: broker3
  privileged: true
  ports:
   - "9093:9092"
  environment:
   KAFKA_BROKER_ID: 3
   KAFKA_LISTENERS: PLAINTEXT://broker3:9092
   KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker3:9092
   KAFKA_ADVERTISED_HOST_NAME: broker3
   KAFKA_ADVERTISED_PORT: 9092
   KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
   JMX_PORT: 9988
  volumes:
   - /var/run/docker.sock:/var/run/docker.sock
   - ./broker3:/kafka/kafka\-logs\-broker3
  external_links: # 连接本compose文件以外的container
  - zoo1
  - zoo2
  - zoo3
  networks:
   default:
    ipv4_address: 172.23.0.16

 kafka-manager:
  image: sheepkiller/kafka-manager:latest
  restart: always
  container_name: kafka-manager
  hostname: kafka-manager
  ports:
   - "9000:9000"
  links:      # 连接本compose文件创建的container
   - broker1
   - broker2
   - broker3
  external_links:  # 连接本compose文件以外的container
   - zoo1
   - zoo2
   - zoo3
  environment:
   ZK_HOSTS: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
   KAFKA_BROKERS: broker1:9092,broker2:9092,broker3:9092
   APPLICATION_SECRET: letmein
   KM_ARGS: -Djava.net.preferIPv4Stack=true
  networks:
   default:
    ipv4_address: 172.23.0.10

networks:
 default:
  external:  # 使用已创建的网络
   name: zoo_kafka

验证

我们打开kafka-manager的管理页面，访问路径是，宿主机ip:9000；

Docker搭建Zookeeper&Kafka集群的实现

如果所示，填写上Zookeeper集群的地址，划到最下边点击save

点击刚刚添加的集群，可以看到，集群中有三个节点

Docker搭建Zookeeper&Kafka集群的实现

搭建过程中遇到的问题

挂载数据卷无限重启，查看log提示：chown: changing ownership of ‘/var/lib/mysql/....‘: Permission denied

解决方式：

  • 在docker run中加入 --privileged=true 给容器加上特定权限
  • 临时关闭selinux： setenforce 0
  • 添加selinux规则，改变要挂载的目录的安全性文本

kafka-manager报jmx相关错误，

解决方法：

  • 在每一个kafka节点加上环境变量 JMX_PORT=端口
  • 加上之后发现连不上，又是网络连接的问题，于是又把每个jmx端口暴露出来，然后fire-wall放行， 解决问题。
  • KAFKA_ADVERTISED_HOST_NAME这个最好设置宿主机的ip,宿主机以外的代码或者工具来连接，后面的端口也需要设置暴露的端口。

[error] k.m.j.KafkaJMX$ - Failed to connect to service:jmx:rmi:///jndi/rmi://9.11.8.48:-1/jmxrmi java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled!

在容器中查看topic时报以下错误（不仅仅是topic的命令，好像所有的都会出错）

$ bin/kafka-topics.sh --list --zookeeper zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
# 以下是错误
Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 7203; nested exception is:
    java.net.BindException: Address already in use

解决方法：

在命令前加上unset JMX_PORT;指令，上边的命令改造为：

$ unset JMX_PORT;bin/kafka-topics.sh --list --zookeeper zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1

附：Docker常用指令

# 查看所有镜像
docker images
# 查看所有运行中的容器
docker ps
# 查看所有容器
docker ps -a
# 获取所有容器ip
$ docker inspect --format='{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq)
# 查看容器内部日志
$ docker logs -f <容器ID>
# 进入容器内部
$ docker exec -it <容器ID> /bin/basj
# 创建容器 -d代表后台启动
docker run --name <容器名称> -e <参数> -v <挂载数据卷> <容器ID>
# 重启容器
docker restart <容器ID>
# 关闭容器
docker stop <容器id>
# 运行容器
docker start <容器id>

docker kafka集群搭建 镜像

PoppyEvan

PoppyEvan

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

快速制作Redis Docker镜像

现在容器化已经是趋势，制作镜像也是我们的基础工作。镜像越小，部署起来越方便。在这个方面，轻巧的Linux发行版本就是一个很好的选择，这里我们选择alpine linux 。目前最新版本是3.12.1。官方很友好的提供了minirootfs的包，这个包就是为

王道革 2020-11-25

Docker使用Portainer搭建可视化界面的方法

Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的

魅惑青花瓷 2020-11-11

详解使用阿里云镜像仓库构建国外Docker镜像

在日常使用 Docker 或 K8S 的过程中，经常会需要到国外的网站中下载镜像，但是有些网站在国内是无法访问的。对于这个问题可以使用阿里云提供的镜像仓库进行下载，然后 pull 到本地并修改 tag 来实现。例如在使用 K8S 部署 Istio 时，需要

lihongtai 2020-11-09

详解docker pull 下来的镜像都存到了哪里

docker pull 下来的命令都默认存在/var/lib/docker/文件夹下。正好和docker images的内容一致。可以看到上面 repositories.json 文件中记录的就是已拉取的镜像信息。

TaoTaoFu 2020-11-06

优化Docker镜像，加速应用部署，教你几个小窍门

Docker 包含三个基本概念，分别是镜像、容器和仓库。Docker 镜像可以看作是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数。镜像是 Docker 运行容器的前提，是Docker的核心

liaochaowu 2020-11-16

Docker不再是唯一的选择

Docker并不是唯一的容器化工具，可能还有更好的选择……在容器的早期时代，Docker是容器游戏中唯一的玩家。但现在情况已经不一样了，Docker不再是唯一的一个，而只是其中一个容器引擎而已。Docker允许我们构建、运行、拉、推或检查容器镜像，然而对于

ChlatZed 2020-11-11

IT工程师都需要掌握的容器技术之Dockerfile

今天我们继续来学习Docker技术，本篇文章主要介绍Dockerfile，Dockerffile是一个文本文件，Docker通过读取Dockerfile文件来自动构建镜像。下面就由成哥来介绍Dockerfile的语法及使用方法吧!Dockerfile相当于

xysoul 2020-11-03

docker镜像制作

和自动化发布平台集成的时候启动shell价值就出来了。另外此处自定了dockerfile的路径和名称，稍微。做了通用化的考虑。稍微需要注意的是 -f最好是全路径。

changecan 2020-09-22

Node.js web 应用如何封装到Docker容器中

小小又开始学习新的内容了。这次学习的是，把一个Node.js 应用封装到Docker容器，完成本教程的前提是拥有一个可以安装的，已经正常可以工作的Docker。本教程的第一部分，需要创建一个Web应用程序，然后为这个应用程序构建一个Docker镜像，最后把

newisI 2020-09-01

DockerHub 镜像仓库的使用详解

之前我们使用的镜像都是从 DockerHub 公共仓库拉取的，我们也学习了如何制作自己的镜像，但是通过 tar 包的方式实现镜像的备份恢复迁移对于团队协作开发并不是特别友好，我们也可以将镜像推送至 DockerHub 仓库方便使用。通过 docker lo

链块学院 2020-09-09

docker镜像无法删除 Error：No such image：xxxxxx解决

docker镜像无法删除，通过 docker images 查看镜像明明存在就是删除不了。该目录即为 docker 中的所有镜像文件，我们通过 ll 查看一下：。别慌，docker images 中的 IMAGE ID 就可以确定镜像文件了。

lihy0 2020-09-07

如何使用Docker容器化Node.js应用程序

容器化应用程序在当今世界越来越流行，因为它们能够解决几乎每个项目团队都面临的一些主要问题。在本文中，我将告诉你如何使用Docker容器化你的node.js应用程序。在继续之前，请确保你的计算机中已安装Docker。完成安装过程后，打开Docker Desk

fearlessxjdx 2020-09-04

优化 Docker 镜像大小常见方法

平时我们构建的 Docker 镜像通常比较大，占用大量的磁盘空间，随着容器的大规模部署，同样也会浪费宝贵的带宽资源。本文将介绍几种常用的方法来优化 Docker 镜像大小，这里我们使用 Docker Hub 官方上的 Redis 镜像进行说明。我们能够直

ChlatZed 2020-08-23

Docker 文档编译 - 创建标签（Tab）页

标签页使用的是 Bootstrap CSS/JS，因此请参考相关的文档来获得有关标签页使用的更多有关内容和信息。针对标准的水平标签页，你可以拷贝和粘贴下面的表单内容，在上面的表单内容中关键的地方在href="#id"和id="

bwyyziq 2020-11-22

Ubuntu 安装Docker

Unbutu系统上安装Docker服务，为保证docker服务的运行未定，需要使用与之相匹配的docker版本，使用命令。若看到上述信息，表明docker安装成功！默认情况下，docker从hub上下载需要安装的进行，囿于这些hub位于国外，下载速度缓慢，

pigsmall 2020-11-19

Docker CentOS 安装方法

绝大部分用户使用 设置 Docker 的仓库 ，然后从设置成功后的仓库进行安装。为了更加容易进行安装和升级任务，Docker 的官方推荐使用这种安装方式来进行安装。这种方法主要针对一些系统不具有联网环境，你需要下载后进行安装。在一些测试和部署环境中，一些用

changecan 2020-11-19

docker CPU限制的实现

2）例如：如果主机有2个CPU，设置--cpus="1.5"，则可以报称容器醉倒 容纳一半的CPU，相当于设置--cpu-period="100000"和--cpu-quota="150000".

helloWorldAndYou 2020-11-16

Docker部署nginx实现过程图文详解

docker.io/redis latest 1e70071f4af4 6 weeks ago 106.7 MB. [root@localhost my.Shells]# docker pull nginx //下载nginx

nginxs 2020-11-14

Docker服务器存储资源池不足的问题解决

最近在执行 Docker 运行命令启动镜像时候，无法正常执行 Docker 启动镜像命令，提示了如下错误信息：。Error: Error response from daemon: devmapper: Thin Pool has 163051 free

红石丶 2020-11-13

用docker运行postgreSQL的方法步骤

drwx------ 19 polkitd ssh_keys 4096 Jan 14 08:40 .drwxr-xr-x 3 root root 4096 Jan 14 08:33 ..drwx------ 5 polkitd ssh_keys 40

WanKaShing 2020-11-12
PoppyEvan

PoppyEvan

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号