kafka版本:0.9
CDH版本:5.12.2
问题描述:
一个java写的通过zookeeper链接消费kafka的程序挂掉了,报错“error during syncedRebalance
kafka.common.ConsumerRebalanceFailedException………………”,程序一直无法重起成功。然后在排查问题过程中发现kafka的命令行工具基本都出问题了。
如通过kafka-console-consumer --zookeeper localhost:2181 --topic topicname --max-messages 1 无法消费到消息,也无报错(数据一直有写入)
命令行界面一直卡在“
20/09/24 15:43:29 INFO consumer.ZookeeperConsumerConnector: [console-consumer-61035_onccpdol019-1600933408773-8ec24dbb], Topics to consume = List(topicname)”这一行日志处。
通过kafka-topics可以正常查看topic信息。
通过“kafka-run-classkafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --topictopicname --group mygroup”查看消费组信息
同样被卡住,无报错,日志停在“20/09/24 16:23:08 INFO zookeeper.ClientCnxn: Session establishment complete on server hostname/ipaddr:2181, sessionid = 0x374be9346e4259d, negotiated timeout = 30000
20/09/24 16:23:08 INFO zkclient.ZkClient: zookeeper state changed (SyncConnected)”
但其它消费和生产的kakfa程序都正常运行(其它程序都是直接链接消费的kafka并未通过zookeeper)
而zookeeper也没有出现告警,通过命令行工具zookeeper-client 可以链接上zookeeper,也可以正常查看zookeeper中kafka的状态,如topic,consumer,等信息,也可以创建删除znode。
使用该集群的kafka命令行工具链接到其它kafka集群可以正常获取及消费kafka信息。
所以是该集群的kafka出问题了吗?是哪个部分出现问题的可能性较大呢?
|
|