kafka术语
kafka broker:运行kafka server的服务被称为broker,它主要用于接手topic消息,管理topic,持久化和存储topic数据,kafka审计,kafka权限管理等。
topic:消息主题,每个topic唯一,可存储和传输数据。(MQ中通常有Topic和Queue 2中消息传输方式,topic:发布/订阅(publish/subscribe,简称pub/sub)Topic消息传递模型,支持一条消息发送多个消费组/消费者;queue:点对点(point-to-point,简称PTP)Queue消息传递模型,一条消息仅支持一个消费者消费);kafka仅支持topic模式。
topic partition:topic 分区个数,可将topic数据进行分割,如果topic分为3,则每个topic partition消息均分topic中的消息,并可进行负载。
topic replication:topic复制副本个数,用于解决数据丢失,单点问题,并发问题。
producer:消息生产者,将消息push到指定topic,消息可以使txt文本(每行一条),文件,序列化对象。
consumer:消息消费者,将消息从指定topic中pull到客户端中,消息可以使txt文本或二进制数据流(可反序列化为文件或对象)。
consumer goup:消费者组,同一个消费者组不重复消费消息,可用于将不同用途consumer进行编组。(因此如果更改为新消费组名称,则讲会重新将kafka中存在的消息全部pull,因此不要轻易变更consumer group哦)