更新时间:2024-05-29 GMT+08:00

查看和重置Kafka消费进度

本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。

重置消费进度可能会导致重复消费,请谨慎操作。

前提条件

Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。

停止待重置消费进度的消费者客户端后,需要等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒),服务端才会认为此消费者已下线。

查看消费进度(控制台)

  1. 登录管理控制台。
  2. 在管理控制台左上角单击,选择区域。

    请选择Kafka实例所在的区域。

  3. 在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。
  4. 单击Kafka实例的名称,进入实例详情页面。
  5. 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
  6. 单击待查看消费进度的消费组名称,进入消费组详情页。
  7. 在“消费进度”页签,查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。

    图1 消费进度

  8. (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,单击

查看消费进度(Kafka客户端)

  • 未开启SASL的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。
    ./kafka-consumer-groups.sh --bootstrap-server {broker_ip}:{port} --offsets --describe --all-groups
  • 已开启SASL的Kafka实例,通过以下步骤查询消费进度。
    1. (可选)如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤。否则请执行以下操作。

      在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,参考3增加用户名和密码,以及SSL证书配置。

    2. 在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。
      ./kafka-consumer-groups.sh --bootstrap-server {broker_ip}:{port} --offsets --describe --all-groups --command-config ./config/ssl-user-config.properties 

重置消费进度

  1. 登录管理控制台。
  2. 在管理控制台左上角单击,选择区域。

    请选择Kafka实例所在的区域。

  3. 在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。
  4. 单击Kafka实例的名称,进入实例详情页面。
  5. 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
  6. 单击待重置消费进度的消费组名称,进入消费组详情页。
  7. 在“消费进度”页签,通过以下方法,重置消费进度。

    • 重置单个Topic所有分区的消费进度:在待重置消费进度的Topic后,单击“重置消费进度”。
    • 重置单个Topic中单个分区的消费进度:在待重置消费进度的Topic分区后,单击“重置消费进度”。
    • 重置所有Topic所有分区的消费进度:单击“一键重置消费进度”。

  8. 在弹出的“重置消费进度”对话框中,参考表1,设置重置消费进度参数。

    表1 重置消费进度参数说明

    参数

    说明

    重置类型

    选择重置类型:

    • 时间:重置消费进度到指定的时间。
    • 偏移量:重置消费进度到指定的偏移量。

    一键重置消费进度只支持重置消费进度到指定时间。

    时间

    当“重置类型”为“时间”时,需要设置此参数。

    选择重置消费进度的时间点,重置完成后,将从此时间点开始消费。

    • 最早:最早偏移量
    • 自定义:自定义时间点
    • 最晚:最晚偏移量

    偏移量

    当“重置类型”为“偏移量”时,需要设置此参数。

    选择重置消费进度的偏移量,此偏移量不能小于0,重置完成后,将从此偏移量开始消费。

  9. 单击“确定”,弹出确认对话框。
  10. 单击“是”,完成消费进度的重置。