新建集群Consumer消费数据失败，提示“GROUP_COORDINATOR_NOT_AVAILABLE”

问题背景与现象

新建Kafka集群，部署Broker节点数为2，使用Kafka客户端可以正常生产，但是无法正常消费。Consumer消费数据失败，提示GROUP_COORDINATOR_NOT_AVAILABLE，关键日志如下：

2018-05-12 10:58:42,561 | INFO | [kafka-request-handler-3] | [GroupCoordinator 2]: Preparing to restabilize group DemoConsumer with old generation 118 | kafka.coordinator.GroupCoordinator (Logging.scala:68)
2018-05-12 10:59:13,562 | INFO | [executor-Heartbeat] | [GroupCoordinator 2]: Preparing to restabilize group DemoConsumer with old generation 119 | kafka.coordinator.GroupCoordinator (Logging.scala:68)

可能原因

__consumer_offsets无法创建。

原因分析

1. 查看日志，发现大量__consumer_offset创建异常。
2. 查看集群发现当前Broker数量为2。

3. 查看__cosumer_offset topic要求副本为3，因此创建失败。

   

解决办法

可以将扩容至少3个流式core节点，或参考如下步骤修改服务配置参数。

1. 进入服务参数配置界面。
   • MRS Manager界面操作：登录MRS Manager，选择“服务管理 > Kafka > 服务配置”，“参数类别”设置为“全部配置”。
   • FusionInsight Manager界面操作：登录FusionInsight Manager。选择“集群 > 服务 > Kafka”，单击“配置”，选择“全部配置”。

2. 搜索并修改offsets.topic.replication.factor和transaction.state.log.replication.factor的值为2。
3. 保存配置，并重启配置过期的服务或者实例。