Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)
Kafka - Linux 环境(CentOS 7)的详细安装步骤(含Zookeeper)
在开始正式安装之前,先简单说下整个系统运行的顺序:
1. 启动 zookeeper server。
2. 启动 kafka server。
3. Producer 如果生产了数据,会先通过 zookeeper 找到 broker,然后将数据存放进 broker。
4. Consumer 如果要消费数据,会先通过 zookeeper 找对应的 broker,然后消费。
除了可以直接安装Kafka Server之外,还可以通过 Docker 运行Kafka Server,可以参考:
Docker环境下安装Zookeeper和Kafka
下面开始在Linux(CentOS 7)环境下,正式安装Kafka Server 最新版本。
1.安装Java,确认Java版本;
Linux 环境 - 安装JDK
Step 1.1 - 下载Java JDK 压缩包
Step 1.2 - Extract Files 解压缩文件
下载完成之后,解压tar文件。
$ cd /go/to/download/path
$ tar -zxf jdk-8u60-linux-x64.gz
Step 1.3 - 移动 JDK 到 opt 目录
$ su
password: (type password of root user)
$ mkdir /opt/jdk
$ mv jdk-1.8.0_60 /opt/jdk/
Step 1.4 - Set path 设置 JAVA_HOME
vim /etc/profile
2. 安装Zookeeper
Step 2.1 - 下载 ZooKeeper
访问如下链接,下载最新版本的ZooKeeper,安装Zookeeper。
http://zookeeper.apache.org/releases.html
As of now, latest version of ZooKeeper is 3.4.6 (ZooKeeper-3.4.6.tar.gz).
最新版本:
http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.11/
Step 2.2 - 解压文件
使用下面的命令,解压tar文件。
$ cd opt/
$ tar -zxf zookeeper-3.4.6.tar.gz
$ cd zookeeper-3.4.6
$ mkdir data
Step 2.3 - 创建配置文件
复制zoocfg 文件 --- cp zoo_sample.cfg zoo.cfg
$ vi conf/zoo.cfg
tickTime=2000
dataDir=/path/to/zookeeper/data -> /opt/zookeeper-3.4.11/data
clientPort=2181
initLimit=5
syncLimit=2
修改并保存好配置文件之后,返回到terminal窗口,启动Zookeeper server。
Step 2.4 - 启动ZooKeeper
$ bin/zkServer.sh start
在执行上述命令后,将看到如下输出:
$ JMX enabled by default
$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED
使用jps 查看 java process status
查看ZooKeeper Server的状态:
[root@local zookeeper-3.4.11]# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: standalone
[root@local zookeeper-3.4.11]#
Step 2.5 - 启动CLI
$ bin/zkCli.sh
输入上述命令,将连接到Zookeeper 服务器,并看到如下输出。
Connecting to localhost:2181
................
................
................
Welcome to ZooKeeper!
................
................
WATCHER::
WatchedEvent state:SyncConnected type: None path:null
[zk: localhost:2181(CONNECTED) 0]
Step 2.6 - 停止ZooKeeper服务器
在连接服务器,执行完操作之后,可以停止Zookeeper 服务器,执行下面的命令即可。
$ bin/zkServer.sh stop
现在,我们已经成功安装好了Java和Zookeeper。接下来,开始安装Apache Kafka。
Step 3 - 安装Kafka
接着按照如下步骤安装Kafka。
Step 3.1 -下载Kafka
访问如下链接:
https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
下载最新的版本,如 – kafka_2.11_0.9.0.0.tgz,下载到本地。
Step 3.2 - 解压缩 tar文件
使用如下命令,解压tar文件。
$ cd opt/
$ tar -zxf kafka_2.11.0.9.0.0 tar.gz
$ cd kafka_2.11.0.9.0.0
现在,已经完成下载最新版本的kafka。
Step 3.3 - 启动Kafka Server
Kafka 需要使用ZooKeeper,因此你需要首先启动ZooKeeper 服务器。
你也可以使用如下脚本,运行一个单一节点的ZooKeeper 实例。
启动ZooKeeper Server,它为Kafka Cluster提供了协调服务。
使用如下命令启动Kafka。
$ bin/kafka-server-start.sh config/server.properties &
【“&”号是为了让在后台运行,要不还要在手动放后台或者重新开启一个终端窗口。】
在Kafka 服务器启动后,将看到如下输出:
$ bin/kafka-server-start.sh config/server.properties
[2016-01-02 15:37:30,410] INFO KafkaConfig values:
request.timeout.ms = 30000
log.roll.hours = 168
inter.broker.protocol.version = 0.9.0.X
log.preallocate = false
security.inter.broker.protocol = PLAINTEXT
…………………………………………….
…………………………………………….
Step 3.4 - 停止Kafka Server
可以使用如下的命令,停止Kafka Server。
$ bin/kafka-server-stop.sh config/server.properties