使用Docker快速建立一个Kafka实例
0 前言
Kafka作为近几年十分流行，虽然它自己定位为一个分布式流结构平台'distributed streaming platform'，但是我们大部分时间还是当做是一个MQ来使用:P。
刚好最近也在研究Kafka，需要为准备一下开发环境作为研究开发测使用。
Docker也是一个十分流行的虚拟应用容器平台，能够将主流的开源框架以容器的方式管理起来，通过组合基础容器，构建出更复杂的应用服务，令构建环境的成本大大降低。例如之前在机器学习的项目里面，很轻松的不影响host环境的情况下，快速的将conda+tenserflow+keras等机器学习主要的开源框架整合起来。不喜欢的话删掉image，重新以新版本构建，也是非常快捷的。
适应了这个思路，因此这次环境的搭建，也是以Docker+kafka作为实施的目标，其中的过程，记录下这篇文章作为日后的参考及回顾。
1 安装docker及docker-compose
上述官方文档也描述的比较清晰了，这里也不在赘述。
docker安装可以参考
docker-compose安装可以参考
2 寻找docker镜像
有了Docker这个平台之后，每当需要有开源环境的的框架需要搭建，都可以第一时间去docker hub上面找一下有没有对应的官方docker镜像。搜索了一下发型，Kafka并没有提供官方的镜像，能找到的都是一些社区维护的镜像包。如：wurstmeister/kafka等。<p>
该镜像虽然不是官方维护的，但是依然有25M+的docker pull，及接近700的点赞量是docker hub上同类型镜像最高的评分。所以此次优先选择这个镜像作服务的基础。
3 定义docker-compose
这里我们引入docker-compose的概念，对于docker-compose我们，可以这么理解：docker-Compose = n * docker container = a complex service。
由于Kafka的基于集群的高可用特性是建基于Zookeeper（称zk）之上的，因此构建可用的Kafka镜像，是需要依赖于zk基础的。因此需要用到docker-compose，将不同的容器组合成为一个完整的的服务。<p>构建建立一个多个container组合的服务，需要独立的docker-compose.yml文件。
version: '3'
<!-- docker-compose的兼容版本，可以按实际的docker的大版本号配置 -->
services:
<!--定义zk层服务-->
zookeeper:
image: wurstmeister/zookeeper
ports:
- "2181:2181"
<!--定义Kafka层-->
kafka:
image: wurstmeister/kafka
<!--优先使用基础镜像，而不是本地Dockerfile的重新构建方式，实际情况可以与build配置项二选一，因此下面一行注释掉-->
<!--build: .-->
depends_on: [ zookeeper ]
ports:
- "9092:9092"
environment:
KAFKA_ADVERTISED_HOST_NAME: 47.106.143.76
KAFKA_CREATE_TOPICS: "test:1:1"
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
volumes:
- /var/run/docker.sock:/var/run/docker.sock按照上面的docker-compose.yml文件，可以将zk和Kafka整合为一个服务包，这里的基础思路是，能够有基础镜像的，优先使用基础镜像，否则才使用dockerfile的重新构建方式。
docker-compose.yml的对容器进行更进一步的自定义方式，可以参考docker-compose的官方文档。
4 打包服务
将路径切换到与docker-compose.yml文件一致的目录下，将定义好的服务打包：
[root@somehost kafka]# docker-compose build zookeeper uses an image, skipping kafka uses an image, skipping
之后就可以使用docker-compose up -d命令将启动
[root@somehost kafka]# docker-compose up -d Starting kafka_kafka_1 ... done Starting kafka_zookeeper_1 ... done [root@somehost kafka]#
类似的停止服务可以使用docker-compose stop命令。
需要注意的是，docker-compose所操作的服务，都是需要根据当前目录下的docker-compose.yml文件所定义，没找到这个定义，docker-compose会无法得知操作哪个服务。
5 测试服务
Docker的服务起来之后，我们就可以测试服务，这里我们可以使用docker自带的cli工具进行基本的测试，后续有机会我们再使用API调用方式测试服务。
首先我们需要检查已经启动的容器
[root@somehost kafka]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2c3e1aacdd56 wurstmeister/kafka "start-kafka.sh" 2 hours ago Up 2 minutes 0.0.0.0:9092->9092/tcp kafka_kafka_1 20cd04496a9c wurstmeister/zookeeper "/bin/sh -c '/usr/sb…" 2 days ago Up 2 minutes 22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp kafka_zookeeper_1 [root@somehost kafka]#
从上面可以看到Kafka的container id为2c3e1aacdd56，我们可以采用下述命令行的方式进入该容器中：
docker exec -it {container id} /bin/bash[root@somehost kafka]# docker exec -it 2c3e1aacdd56 /bin/bash bash-4.4# bash-4.4# ls -al total 72 drwxr-xr-x 1 root root 4096 Jul 13 02:00 . drwxr-xr-x 1 root root 4096 Jul 13 02:00 .. -rwxr-xr-x 1 root root 0 Jul 13 02:00 .dockerenv drwxr-xr-x 1 root root 4096 Apr 15 16:03 bin drwxr-xr-x 5 root root 340 Jul 13 03:29 dev drwxr-xr-x 1 root root 4096 Jul 13 02:00 etc drwxr-xr-x 2 root root 4096 Jan 9 2018 home drwxr-xr-x 5 root root 4096 Jul 13 02:00 kafka drwxr-xr-x 1 root root 4096 Apr 15 16:03 lib drwxr-xr-x 2 root root 4096 Apr 15 16:03 lib64 drwxr-xr-x 5 root root 4096 Jan 9 2018 media drwxr-xr-x 2 root root 4096 Jan 9 2018 mnt drwxr-xr-x 1 root root 4096 Apr 15 16:03 opt dr-xr-xr-x 101 root root 0 Jul 13 03:29 proc drwx------ 2 root root 4096 Jan 9 2018 root drwxr-xr-x 1 root root 4096 Jul 13 02:00 run drwxr-xr-x 1 root root 4096 Apr 15 16:03 sbin drwxr-xr-x 2 root root 4096 Jan 9 2018 srv dr-xr-xr-x 13 root root 0 Jul 13 03:29 sys drwxrwxrwt 1 root root 4096 Jul 13 03:29 tmp drwxr-xr-x 1 root root 4096 Apr 15 16:03 usr drwxr-xr-x 1 root root 4096 Apr 15 16:03 var bash-4.4#
如上，就可以看见kafka容器里面的内容了。
再执行Kafka-cli的测试工具
<!--配置环境变量--> bash-4.4# export ZK=zookeeper:2181 bash-4.4# echo $ZK zookeeper:2181 <!--运行Kafka提供的CLI系列工具--> bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --create --topic topic --partitions 4 --zookeeper $ZK --replication-factor 1 Created topic "topic".
至此，一个docker完整的ZK+Kafka容器服务就开启了，虽然离生产节点还有些距离，但是已经可以在上面建立完整的应用开发了。有机会再聊。
参考文献
Kafka说明文档
docker说明文档
docker-compose说明文档
wurstmeister/kafka docker镜像说明文档