# 查看Kafka数据生产消费详情
#### 操作场景
用户可以根据业务需求，通过Kafka客户端查看当前消费情况，或通过KafkaUI实时查看不同时段的生产数据条数。
#### 约束与限制
- 集群已启用Kerberos认证（安全模式）时，KafkaUI对查看Topic详情操作不做鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic Configs、增加Topic分区个数、删除Topic场景，需保证KafkaUI登录用户属于"kafkaadmin"用户组或者单独给用户授予对应操作权限，否则将会鉴权失败。 创建用户相关操作请参考[创建Kafka用户并绑定角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1032.html#mrs_01_1032__section15172119027)。
  
- 集群未启用Kerberos认证（普通模式）时，KafkaUI对所有操作不做鉴权处理。
 
#### 前提条件
如果当前使用Kafka客户端，需要满足以下条件：
- 已安装客户端，例如安装目录为"/opt/client"，以下操作的客户端目录只是举例，请根据实际安装目录修改。 下载并安装集群客户端的具体操作，请参考[安装MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.html)。
  
- 各组件业务用户由MRS集群管理员根据业务需要创建。"机机"用户需要下载keytab文件。"人机"用户第一次登录时需修改密码。（集群未启用Kerberos认证（普通模式）时不涉及） 创建用户相关操作请参考[创建Kafka用户并绑定角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1032.html#mrs_01_1032__section15172119027)。
  
 
#### 使用Kafka客户端查看当前消费情况
1. 登录MRS集群Manager。 
   登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。
   
   
2. 获取Kafka节点业务IP及端口。
   
   1. 选择"集群 \> 服务 \> Kafka \> 实例"，查看并记录任意一个Broker角色实例的业务IP地址。
   
   2. 选择"配置 \> 全部配置"，并根据集群模式获取端口号：
      - 集群已启用Kerberos认证（安全模式）：搜索"sasl.port"参数，查看并记录端口号，默认为21007。
      
      - 集群未启用Kerberos认证（普通模式）：搜索"port"参数，查看并记录端口号，默认为9092。
       
   
   
   
   
3. 使用**kafka-consumer-groups.sh** 查看当前消费情况。
   
   - 查看Offset保存在Kafka上的Consumer Group列表：
     ```
     ./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群端口号> --command-config ../config/consumer.properties
     ```
     例如，参考[2]查询出的Broker的业务IP为"192.168.1.1"，Kafka集群端口号为"21007"时，则执行以下命令：
     ```
     ./kafka-consumer-groups.sh --bootstrap-server 192.168.1.1:21007 --list --command-config ../config/consumer.properties
     ```
     
   
   
   
   - 查看Offset保存在Kafka上的Consumer Group消费情况： 执行命令前，需确保当前Consumer在线消费；确保配置文件consumer.properties（文件路径："客户端安装目录/Kafka/kafka/config/"）中的group.id与命令中--group的参数均配置为待查询的group。
     ```
     ./kafka-consumer-groups.sh --describe --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群端口号> --group 消费组名称 --command-config ../config/consumer.properties
     ```
     例如，参考[2]查询出的Broker的业务IP为"192.168.1.1"，Kafka集群端口号为"21007"，消费组名称为"example-group"时，则执行以下命令：
     ```
     ./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.1:21007 --group example-group --command-config ../config/consumer.properties
     ```
     
   
   - 查询存储Consumer Group位移信息的__consumer_offsets分区信息（仅适用于MRS 3.6.0.1及之后版本）：
     ```
     ./kafka-consumer-groups.sh --describe --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --state --group 消费组名称 --command-config ../config/consumer.properties
     ```
     例如：
     ```
     ./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.1:21007 --state --group flume --command-config ../config/consumer.properties
     ```
     命令输出结果中，"CONSUMER_OFFSETPARTITION"为所在__consumer_offsets的分区，"BROKER"为该分区的Leader BrokerID。
     
   
   
   
   
 
 #### 使用KafkaUI查看当前消费情况
1. 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager。 
   登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。
   
   
2. 选择"集群 \> 服务 \> Kafka"。
3. 在"KafkaManager Web UI"右侧，单击URL链接，进入KafkaUI的页面。
4. 单击"Topics"，进入Topic管理页面。 
   在"Topic List"栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。
   在"Producer Message"栏可选择"Day"、"Week"、"Month"不同时段查看当前集群所有集群生产数据条数。
   ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000001944701709.png "点击放大")
   
   
5. 单击"Consumers"，进入消费组详情页面。 
   可以在该页面中查看当前集群内的所有ConsumerGroups，并可以查看各个ConsumerGroups Coordinator所在节点IP，在页面右上角，用户可以输入ConsumerGroup来搜索指定的ConsumerGroup信息。
   - Consumer Summary：在Consumer Summary一栏，可查看当前集群已存在的消费组。
     图1消费组信息   
     ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000002594030638.png "点击放大") 
   
   - 单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态："pending"和"running"，分别表示"曾经消费过但现在未消费"和"现在正在消费"，在弹框右上角，可以输入Topic名来进行过滤。
     图2单击消费组详细信息   
     ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000002624470157.png "点击放大") 
   
   - 单击Topic名称，进入Consumer Offsets页面，可查看Topic消费详情。 ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000002624590005.png "点击放大")
     
   
   - 查看消费血缘图。 单击"Consumers"，进入消费组详情页面。在Active Topic处可以查看当前集群所有的消费组，以及各个Consumer Group正在消费的Topic。
     ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000002594190544.png "点击放大")
     MRS集群当前不支持单击消费组名称进行跳转。
     
   
   
   
   
 
#### 相关文档
- 创建Kafka Topic相关操作请参考[创建Kafka Topic](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24136.html)。
- 关于Kafka UI页面详细介绍及操作，请参考[登录KafkaUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24135.html)。