更新时间:2024-05-29 GMT+08:00
查看和重置Kafka消费进度
本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。
重置消费进度可能会导致重复消费,请谨慎操作。
前提条件
Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。
停止待重置消费进度的消费者客户端后,需要等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒),服务端才会认为此消费者已下线。
查看消费进度(控制台)
- 登录管理控制台。
- 在管理控制台左上角单击,选择区域。
请选择Kafka实例所在的区域。
- 在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。
- 单击Kafka实例的名称,进入实例详情页面。
- 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
- 单击待查看消费进度的消费组名称,进入消费组详情页。
- 在“消费进度”页签,查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。
图1 消费进度
- (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,单击。
查看消费进度(Kafka客户端)
- 未开启SASL的Kafka实例,在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。
./kafka-consumer-groups.sh --bootstrap-server {broker_ip}:{port} --offsets --describe --all-groups
- 已开启SASL的Kafka实例,通过以下步骤查询消费进度。
- (可选)如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤。否则请执行以下操作。
在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,参考3增加用户名和密码,以及SSL证书配置。
- 在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下,通过以下命令查询消费进度。
./kafka-consumer-groups.sh --bootstrap-server {broker_ip}:{port} --offsets --describe --all-groups --command-config ./config/ssl-user-config.properties
- (可选)如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤。否则请执行以下操作。
重置消费进度
- 登录管理控制台。
- 在管理控制台左上角单击,选择区域。
请选择Kafka实例所在的区域。
- 在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。
- 单击Kafka实例的名称,进入实例详情页面。
- 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
- 单击待重置消费进度的消费组名称,进入消费组详情页。
- 在“消费进度”页签,通过以下方法,重置消费进度。
- 重置单个Topic所有分区的消费进度:在待重置消费进度的Topic后,单击“重置消费进度”。
- 重置单个Topic中单个分区的消费进度:在待重置消费进度的Topic分区后,单击“重置消费进度”。
- 重置所有Topic所有分区的消费进度:单击“一键重置消费进度”。
- 在弹出的“重置消费进度”对话框中,参考表1,设置重置消费进度参数。
- 单击“确定”,弹出确认对话框。
- 单击“是”,完成消费进度的重置。
父主题: 管理消费组