更新时间:2024-11-15 GMT+08:00
分享

查看Kafka消费者信息

如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。

在Kafka Manager中查看消费者连接地址须知

  • Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。
  • 2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka Manager中查看消费者连接地址。

前提条件

消费组中的消费者处于连接Kafka实例时(即消费组状态为“STABLE”),才可以查看消费者列表和消费者连接地址。

查看消费者列表(控制台)

  1. 登录管理控制台。
  2. 在管理控制台左上角单击,选择区域。

    请选择Kafka实例所在的区域。

  3. 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
  4. 单击Kafka实例的名称,进入实例详情页面。
  5. 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
  6. 单击待查看消费者列表的消费组名称,进入消费组详情页。
  7. 在“消费者列表”页签,查看消费者列表。

    在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。

  8. (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。

查看消费者列表(客户端)

  • 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令查询消费者列表。
    ./kafka-consumer-groups.sh --bootstrap-server ${connection-address} --group ${group-name} --members --describe

    参数说明如下:

    • connection-address:在Kafka控制台的“基本信息 > 连接信息”中,获取Kafka实例的连接地址。
    • group-name:消费组名称。

    示例如下:

    [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx.xx:9092,192.168.xx.xx:9092,192.168.xx.xx:9092 --group test --members --describe
    
    GROUP           CONSUMER-ID                                           HOST            CLIENT-ID        #PARTITIONS     
    test            console-consumer-571a64fe-b0c4-47ce-833d-9e0da5a88d14 /192.168.0.215  console-consumer 3               
    [root@ecs-kafka bin]#
  • 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。
    1. (可选)修改客户端配置文件。
      在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
      • SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
        security.protocol=SASL_PLAINTEXT
        #SASL认证机制为“SCRAM-SHA-512”时,配置信息如下。
        sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
        username="**********" \
        password="**********";        
        sasl.mechanism=SCRAM-SHA-512
        #SASL认证机制为“PLAIN”时,配置信息如下。
        sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
        username="**********" \
        password="**********";        
        sasl.mechanism=PLAIN

        参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。

      • SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。
        security.protocol=SASL_SSL
        ssl.truststore.location={ssl_truststore_path}
        ssl.truststore.password=dms@kafka
        ssl.endpoint.identification.algorithm=
        #SASL认证机制为“SCRAM-SHA-512”时,配置信息如下。
        sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
        username="**********" \
        password="**********";        
        sasl.mechanism=SCRAM-SHA-512
        #SASL认证机制为“PLAIN”时,配置信息如下。
        sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
        username="**********" \
        password="**********";        
        sasl.mechanism=PLAIN

        参数说明如下:

        • ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。
        • ssl.truststore.password为服务器证书密码,不可更改需要保持为dms@kafka
        • ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空
        • username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。
    2. 在Kafka客户端的“/bin”目录下,通过以下命令查询消费者列表。
      ./kafka-consumer-groups.sh --bootstrap-server ${connection-address} --group ${group-name} --members --describe --command-config ../config/ssl-user-config.properties 

      参数说明如下:

      • connection-address:在Kafka控制台的“基本信息 > 连接信息”中,获取Kafka实例的连接地址。
      • group-name:消费组名称。

      示例如下:

      [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx.xx:9093,192.168.xx.xx:9093,192.168.xx.xx:9093 --group test --members --describe --command-config ../config/ssl-user-config.properties
      
      GROUP           CONSUMER-ID                                           HOST            CLIENT-ID        #PARTITIONS     
      test            console-consumer-566d0c82-07d3-4d87-9a6e-f57a9bc9fc69 /192.168.0.215  console-consumer 3               
      [root@ecs-kafka bin]#

查看消费者连接地址(控制台)

  1. 登录管理控制台。
  2. 在管理控制台左上角单击,选择区域。

    请选择Kafka实例所在的区域。

  3. 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
  4. 单击Kafka实例的名称,进入实例详情页面。
  5. 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
  6. 单击待查看消费者连接地址的消费组名称,进入消费组详情页。
  7. 在“消费者列表”页签,查看消费者连接地址。

    图1 消费者列表

查看消费者连接地址(Kafka Manager)

  1. 登录Kafka Manager
  2. 单击“kafka_cluster”,进入集群详情页。
  3. 在顶部导航栏单击“Consumers”,进入消费组列表页面。

    图2 导航栏

  4. 单击待查看消费者连接地址的消费组名称,进入消费组订阅的Topic列表页面。

    图3 消费组列表页面

  5. 单击待查看消费者连接地址的Topic名称,进入Topic详情页。

    图4 消费组订阅的Topic列表页面

  6. 在“Consumer Instance Owner”中,查看消费者连接地址。

    图5 Topic详情页

相关文档