在Kafka Topic中接入消息

操作场景

用户可以根据业务需求，通过Kafka客户端或KafkaUI查看当前消费情况。

本章节内容适用于MRS 3.x及后续版本。

前提条件

如果当前使用Kafka客户端，需要满足以下条件：

• MRS集群管理员已明确业务需求，并准备一个系统用户。
• 已安装Kafka客户端。

使用Kafka客户端查看当前消费情况

1. 以客户端安装用户，登录安装Kafka客户端的节点。
2. 切换到Kafka客户端安装目录，例如“/opt/client”。

   cd /opt/client

3. 执行以下命令，配置环境变量。

   source bigdata_env

4. 执行以下命令，进行用户认证。（普通模式跳过此步骤）

   kinit 组件业务用户

5. 执行以下命令，切换到Kafka客户端安装目录。

   cd Kafka/kafka/bin

6. 使用kafka-consumer-groups.sh查看当前消费情况。
   • 查看Offset保存在Kafka上的Consumer Group列表：

     ./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --command-config ../config/consumer.properties

     例如：./kafka-consumer-groups.sh --bootstrap-server 192.168.1.1:21007 --list --command-config ../config/consumer.properties

   • 查看Offset保存在Kafka上的Consumer Group消费情况：

     ./kafka-consumer-groups.sh --describe --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --group 消费组名称 --command-config ../config/consumer.properties

     例如：./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.1:21007 --group example-group --command-config ../config/consumer.properties

   

   • 确保当前consumer在线消费。
   • 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。
   • Kafka集群IP端口号安全模式下是21007，普通模式下是9092。

使用KafkaUI查看当前消费情况

1. 进入KafkaUI界面。
   1. 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。

      如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

   2. 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。

2. 单击“Consumers”，进入消费组详情页面，可以查看当前集群内的所有ConsumerGroups，并可以查看各个ConsumerGroups Coordinator所在节点IP，在页面右上角，用户可以输入ConsumerGroup来搜索指定的ConsumerGroup信息。

   

3. 在Consumer Summary一栏，可查看当前集群已存在的消费组，单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态：“pending”和“running”，分别表示“曾经消费过但现在未消费”和“现在正在消费”，在弹框右上角，可以输入Topic名来进行过滤。

   

4. 单击Topic名称，进入Consumer Offsets页面，可查看Topic消费详情。

   

5. 查看消费血缘图。

   单击“Consumers”，进入消费组详情页面。在Active Topic 处可以查看当前集群所有的消费组，以及各个Consumer Group正在消费的Topic。

   

   

   MRS集群当前不支持单击消费组名称进行跳转。