如何读取“__consumer_offsets”内部Topic的内容

问题描述

Kafka如何将Consumer消费的offset保存在内部Topic的“ __consumer_offsets”中？

处理步骤

1. 登录MRS集群Manager。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 获取ZooKeeper节点业务IP及端口。
   1. 选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。
   2. 选择“配置 > 全部配置”，搜索“clientPort”，查看并记录端口号。

      默认端口如下：

      • 开源端口默认值为：2181
      • 定制端口默认值为：24002

      端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。

3. 以客户端安装用户，登录安装客户端的节点。
4. 执行以下命令，切换到客户端安装目录，例如安装目录为“/opt/client”，具体以实际替换。

   cd /opt/client

5. 执行以下命令配置环境变量。

   source bigdata_env

6. 执行以下命令，进行用户认证。（集群未启用Kerberos认证（普通模式）时跳过此步骤）

   kinit 组件业务用户

7. 执行以下命令进入Kafka客户端“bin”目录。

   cd Kafka/kafka/bin

8. 执行以下命令，获取consumer offset metric信息。

   kafka-console-consumer.sh --topic __consumer_offsets --zookeeper <zk_host:port>/kafka --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config <property file> --from-beginning

   其中<property file>配置文件中需要增加如下内容。

   exclude.internal.topics = false

   例如执行以下命令：

   kafka-console-consumer.sh --topic __consumer_offsets --zookeeper 10.5.144.2:2181/kafka --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config ../config/consumer.properties --from-beginning

   执行后结果如下：