[转]kafka要等一段时间才能消费到数据

那年夏天0

2019-12-16

关注关注

kafka要等一段时间才能消费到数据

python kafka

为什么用python写的kafka客户端脚本，程序一运行就能生产数据，而要等一段时间才能消费到数据（topic里面有数据）。（pykafka和confluentKafka都一样）

只有极少的概率立刻可以消费到数据，大多数都要等个几分钟，很影响测试效率。

自己封装的一个给予confluentKafka的consumer对象

[转]kafka要等一段时间才能消费到数据

调用，topic里面是有内容的等一段时间也是可以消费到数据的

[转]kafka要等一段时间才能消费到数据

阅读 4.8k

赞 1踩

收藏关注 6

更新于 2018-06-19

5 个回答

得票时间

WANSX

https://stackoverflow.com/que... 最下面的回答,注意conf中session.timeout.ms参数的设置。

已采纳

2018-04-05

skyarthur

1.1k

几分钟不应该啊，能把代码贴下么

2018-04-05

- skyarthur：
  ok
  2018-04-05
- WANSX：
  session.timeout.ms设置的太大了，导致了这个原因，感谢回答！
  2018-04-05

谷雨

1
新手请关照

你在实例化consumer对象的时候加这样两个参数session_timeout_ms=6000,heartbeat_interval_ms=2000

consumer = KafkaConsumer(self.kafkatopic, group_id = self.groupid,
                                      bootstrap_servers = ‘{kafka_host}:{kafka_port}‘.format(
            kafka_host=self.kafkaHost,
            kafka_port=self.kafkaPort
            ),
                                      session_timeout_ms=6000,
                                      heartbeat_interval_ms=2000)

官网里有参数的解释https://kafka-python.readthed...
主要是这句话：“ If no heartbeats are received by the broker before the expiration of this session timeout, then the broker will remove this consumer from the group and initiate a rebalance.”
另外本机的session_timeout_ms默认值我的是30s，不是官网里说的10s！

2018-06-19

阳光筱帅：
更改了参数还是会出现这样的问题

那年夏天0

0 关注 0 粉丝 0 动态

关注关注

安科网

[转]kafka要等一段时间才能消费到数据

那年夏天0

kafka要等一段时间才能消费到数据

那年夏天0

那年夏天0