Kafka Topic Partition GroupId 及高可用
Topic主题用来区分不同类型的消息,实际也就是适用于不同的业务场景,默认消息保存一周时间;
同一个Topic主题下,默认是一个partition分区,也就是只能有一个消费者来消费,如果想提升消费能力,就需要增加分区;
同一个Topic的多个分区,可以有三种方式分派消息(key,value)到不同的分区,指定分区、HASH路由、默认,同一个分区内的消息ID唯一,并顺序;
消费者消费partition分区内的消息时,是通过offsert来标识消息的位置;
GroupId用来解决同一个Topic主题下重复消费问题,比如一条消费需要多个消费者接收到,就可以通过设置不同的GroupId实现,
实际消息是存一份的,只是通过逻辑上设置标识来区分,系统会记录Topic主题下--》GroupId分组下--》partition分区下的offsert,来标识是否消费过。
发送消息的高可用---
集群模式,多副本方式实现;一条消息的提交,可能通过设置acks标识实现不同的可用性,=0时,发送成功就OK;=1时,master成功响应才OK,=all时,一半以上的响应才OK(真正的高可用)
消费消息的高可用---
可以关闭自动标识offsert模式,先拉取消息,消费完成后,再去设置offsert位置,来解决消费高可用
相关推荐
jiangkai00 2020-03-20
yangyutong00 2019-12-30
amwayy 2019-12-22
amwayy 2019-12-21
那年夏天0 2019-12-05
ljcsdn 2020-07-27
woaishanguosha 2020-07-18
qingyuerji 2020-06-14
MojitoBlogs 2020-06-14
MojitoBlogs 2020-06-09
猫咪的一生 2020-06-03
guicaizhou 2020-05-05
猫咪的一生 2020-05-03
jiangkai00 2020-04-15
方新德 2020-04-08
那年夏天0 2020-02-22
sweetgirl0 2020-02-09
MrZhangAdd 2020-01-13