在Kafka Topic中接入消息

操作场景

用户可以根据业务需求，通过Kafka客户端或KafkaUI查看当前消费情况。例如查看Offset保存在Kafka上的Consumer Group列表、消费情况等。

前提条件

如果当前使用Kafka客户端，需要满足以下条件：

已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。
各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（集群未启用Kerberos认证（普通模式）时不涉及）
创建用户相关操作请参考创建Kafka用户并绑定角色。

使用Kafka客户端查看当前消费情况

登录MRS集群Manager。

登录集群Manager具体操作，请参考访问MRS集群Manager。
获取Kafka节点业务IP及端口。
1. 选择“集群 > 服务 > Kafka > 实例”，查看并记录任意一个Broker角色实例的业务IP地址。
2. Kafka集群端口号：
  集群已启用Kerberos认证（安全模式）：默认为21007
  
  集群未启用Kerberos认证（普通模式）：默认为9092
以客户端安装用户，登录安装客户端的节点。
执行以下命令，切换到客户端安装目录，例如安装目录为“/opt/client”，具体以实际替换。
```
cd /opt/client
```
执行以下命令配置环境变量。
```
source bigdata_env
```
执行以下命令，进行用户认证。（集群未启用Kerberos认证（普通模式）时跳过此步骤）
```
kinit 组件业务用户
```
执行以下命令进入Kafka客户端“bin”目录。
```
cd Kafka/kafka/bin
```
使用kafka-consumer-groups.sh查看当前消费情况。
- 查看Offset保存在Kafka上的Consumer Group列表：
```
./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群端口号> --command-config ../config/consumer.properties
```
  例如，参考2查询出的Broker的业务IP为“192.168.1.1”，Kafka集群端口号为“21007”时，则执行以下命令：
```
./kafka-consumer-groups.sh --bootstrap-server 192.168.1.1:21007 --list --command-config ../config/consumer.properties
```
- 查看Offset保存在Kafka上的Consumer Group消费情况：
  执行命令前，需确保当前Consumer在线消费；确保配置文件consumer.properties（文件路径：“客户端安装目录/Kafka/kafka/config/”）中的group.id与命令中--group的参数均配置为待查询的group。
```
./kafka-consumer-groups.sh --describe --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群端口号> --group 消费组名称 --command-config ../config/consumer.properties
```
  例如，参考2查询出的Broker的业务IP为“192.168.1.1”，Kafka集群端口号为“21007”，消费组名称为“example-group”时，则执行以下命令：
```
./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.1:21007 --group example-group --command-config ../config/consumer.properties
```

使用KafkaUI查看当前消费情况

进入KafkaUI界面。
1. 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。
  如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。
2. 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。
单击“Consumers”，进入消费组详情页面。

可以在该页面中查看当前集群内的所有ConsumerGroups，并可以查看各个ConsumerGroups Coordinator所在节点IP，在页面右上角，用户可以输入ConsumerGroup来搜索指定的ConsumerGroup信息。
- Consumer Summary：在Consumer Summary一栏，可查看当前集群已存在的消费组。
  图1 消费组信息
- 单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态：“pending”和“running”，分别表示“曾经消费过但现在未消费”和“现在正在消费”，在弹框右上角，可以输入Topic名来进行过滤。
  图2 单击消费组详细信息
- 单击Topic名称，进入Consumer Offsets页面，可查看Topic消费详情。
- 查看消费血缘图。
  单击“Consumers”，进入消费组详情页面。在Active Topic处可以查看当前集群所有的消费组，以及各个Consumer Group正在消费的Topic。
  
  MRS集群当前不支持单击消费组名称进行跳转。