文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Kafka/ 如何读取“__consumer_offsets”内部topic的内容
更新时间：2023-12-22 GMT+08:00
查看PDF
分享

如何读取“__consumer_offsets”内部topic的内容

用户问题

Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？

处理步骤

  1. 以客户端安装用户，登录安装Kafka客户端的节点。
  2. 切换到Kafka客户端安装目录，例如“/opt/client”。

    cd /opt/client

  3. 执行以下命令，配置环境变量。

    source bigdata_env

  4. 执行以下命令，进行用户认证。（普通集群跳过此步骤）

    kinit 组件业务用户

  5. 执行以下命令，切换到Kafka客户端安装目录。

    cd Kafka/kafka/bin

  6. 执行以下命令，获取consumer offset metric信息。

    kafka-console-consumer.sh --topic __consumer_offsets --zookeeper <zk_host:port>/kafka --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config <property file> --from-beginning

    其中<property file>配置文件中需要增加如下内容。

    exclude.internal.topics = false

    例如：

    kafka-console-consumer.sh --topic __consumer_offsets --zookeeper 10.5.144.2:2181/kafka --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config ../config/consumer.properties --from-beginning

父主题： 使用Kafka