Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

在开始正式安装之前,先简单说下整个系统运行的顺序:

1. 启动 zookeeper server。

2. 启动 kafka server。

3. Producer 如果生产了数据,会先通过 zookeeper 找到 broker,然后将数据存放进 broker。

4. Consumer 如果要消费数据,会先通过 zookeeper 找对应的 broker,然后消费。

除了可以直接安装Kafka Server之外,还可以通过 Docker 运行Kafka Server,可以参考:

Docker环境下安装Zookeeper和Kafka

下面开始在Linux(CentOS 7)环境下,正式安装Kafka Server 最新版本。

1.安装Java,确认Java版本;

Linux 环境 - 安装JDK

Step 1.1 - 下载Java JDK 压缩包

Step 1.2 - Extract Files 解压缩文件

下载完成之后,解压tar文件。

$ cd /go/to/download/path

$ tar -zxf jdk-8u60-linux-x64.gz

Step 1.3 - 移动 JDK 到 opt 目录

$ su

password: (type password of root user)

$ mkdir /opt/jdk

$ mv jdk-1.8.0_60 /opt/jdk/

Step 1.4 - Set path 设置 JAVA_HOME

vim /etc/profile

2. 安装Zookeeper

Step 2.1 - 下载 ZooKeeper

访问如下链接,下载最新版本的ZooKeeper,安装Zookeeper。

http://zookeeper.apache.org/releases.html

As of now, latest version of ZooKeeper is 3.4.6 (ZooKeeper-3.4.6.tar.gz).

最新版本:

http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/

Step 2.2 - 解压文件

使用下面的命令,解压tar文件。

$ cd opt/

$ tar -zxf zookeeper-3.4.6.tar.gz

$ cd zookeeper-3.4.6

$ mkdir data

Step 2.3 - 创建配置文件

复制zoocfg 文件 --- cp zoo_sample.cfg zoo.cfg

$ vi conf/zoo.cfg

tickTime=2000

dataDir=/path/to/zookeeper/data -> /opt/zookeeper-3.4.11/data

clientPort=2181

initLimit=5

syncLimit=2

修改并保存好配置文件之后,返回到terminal窗口,启动Zookeeper server。

Step 2.4 - 启动ZooKeeper

$ bin/zkServer.sh start

在执行上述命令后,将看到如下输出:

$ JMX enabled by default

$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg

$ Starting zookeeper ... STARTED

使用jps 查看 java process status

Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

查看ZooKeeper Server的状态:

[root@local zookeeper-3.4.11]# bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/zookeeper-3.4.11/bin/../conf/zoo.cfg

Mode: standalone

[root@local zookeeper-3.4.11]#

Step 2.5 - 启动CLI

$ bin/zkCli.sh

输入上述命令,将连接到Zookeeper 服务器,并看到如下输出。

Connecting to localhost:2181

................

................

................

Welcome to ZooKeeper!

................

................

WATCHER::

WatchedEvent state:SyncConnected type: None path:null

[zk: localhost:2181(CONNECTED) 0]

Step 2.6 - 停止ZooKeeper服务器

在连接服务器,执行完操作之后,可以停止Zookeeper 服务器,执行下面的命令即可。

$ bin/zkServer.sh stop

现在,我们已经成功安装好了Java和Zookeeper。接下来,开始安装Apache Kafka。

Step 3 - 安装Kafka

接着按照如下步骤安装Kafka。

Step 3.1 -下载Kafka

访问如下链接:

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

下载最新的版本,如 – kafka_2.11_0.9.0.0.tgz,下载到本地。

Step 3.2 - 解压缩 tar文件

使用如下命令,解压tar文件。

$ cd opt/

$ tar -zxf kafka_2.11.0.9.0.0 tar.gz

$ cd kafka_2.11.0.9.0.0

现在,已经完成下载最新版本的kafka。

Step 3.3 - 启动Kafka Server

Kafka 需要使用ZooKeeper,因此你需要首先启动ZooKeeper 服务器。

你也可以使用如下脚本,运行一个单一节点的ZooKeeper 实例。

启动ZooKeeper Server,它为Kafka Cluster提供了协调服务。

使用如下命令启动Kafka。

$ bin/kafka-server-start.sh config/server.properties &

【“&”号是为了让在后台运行,要不还要在手动放后台或者重新开启一个终端窗口。】

在Kafka 服务器启动后,将看到如下输出:

$ bin/kafka-server-start.sh config/server.properties

[2016-01-02 15:37:30,410] INFO KafkaConfig values:

request.timeout.ms = 30000

log.roll.hours = 168

inter.broker.protocol.version = 0.9.0.X

log.preallocate = false

security.inter.broker.protocol = PLAINTEXT

…………………………………………….

…………………………………………….

Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

Step 3.4 - 停止Kafka Server

可以使用如下的命令,停止Kafka Server。

$ bin/kafka-server-stop.sh config/server.properties

Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)

相关推荐