# Kafka客户端使用实践
#### 操作场景
该任务指导用户在运维场景或业务场景中使用Kafka客户端，实现对Kafka主题的创建、查看、修改、删除等操作。
#### 前提条件
- 已安装客户端，例如安装目录为"/opt/client"，以下操作的客户端目录只是举例，请根据实际安装目录修改。 下载并安装集群客户端的具体操作，请参考[安装MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.html)。
  
- 各组件业务用户由MRS集群管理员根据业务需要创建。"机机"用户需要下载keytab文件。"人机"用户第一次登录时需修改密码。（集群未启用Kerberos认证（普通模式）时不涉及） 创建用户相关操作请参考[创建Kafka用户并绑定角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1032.html#mrs_01_1032__section15172119027)。
  
- 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。
 
#### 约束与限制
MRS 3.3.1及之后版本，Kafka不再支持使用"--zookeeper"方式创建Topic。
#### 操作视频
<video controls="controls" preload="none" id="object72091619144316" class="idp-external-video" src="https://res-video.hc-cdn.com/cloudbu-site/china/zh-cn/support/mrs-video/1677747853394865501.mp4" title="使用Kafka客户端创建Topic" poster="https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000002386234165.jpg" height="300.0000" width="600.0000"></video>
#### 使用Kafka客户端
1. 登录MRS集群Manager。 
   登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。
   
   
2. 获取Kafka节点业务IP及端口。
   
   1. 选择"集群 \> 服务 \> Kafka \> 实例"，查看并记录任意一个Broker角色实例的业务IP地址。
   
   2. 选择"配置 \> 全部配置"，并根据集群模式获取端口号：
      - 集群已启用Kerberos认证（安全模式）：搜索"sasl.port"参数，查看并记录端口号，默认为21007。
      
      - 集群未启用Kerberos认证（普通模式）：搜索"port"参数，查看并记录端口号，默认为9092。
       
   
   
   
   
3. 获取ZooKeeper节点业务IP及端口。 
   1. 选择"集群 \> 服务 \> ZooKeeper \> 实例"，查看并记录任意一个ZooKeeper角色实例的业务IP地址。
   
   2. 选择"配置 \> 全部配置"，搜索"clientPort"，查看并记录端口号。 创建LTS版本类型集群时，可以选择"组件端口"为"开源"场景或"定制"场景，选择"开源"时ZooKeeper默认端口为2181，选择"定制"时ZooKeeper默认端口为24002。
      
   
   
   
   
4. 以客户端安装用户，登录安装客户端的节点。
5. 执行以下命令，切换到客户端安装目录，例如安装目录为"/opt/client"，具体以实际替换。 
   ```
   cd /opt/client
   ```
   
   
6. 执行以下命令配置环境变量。 
   ```
   source bigdata_env
   ```
   
   
7. 执行以下命令，进行用户认证。（集群未启用Kerberos认证（普通模式）时跳过此步骤） 
   ```
   kinit 组件业务用户
   ```
   
   
8. 执行以下命令进入Kafka客户端"bin"目录。 
   ```
   cd Kafka/kafka/bin
   ```
   
   
9. 执行以下操作，使用**kafka-topics.sh** 管理Kafka主题。
   
   ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/public_sys-resources/note_3.0-zh-cn.png)
   - 以下**--zookeeper** 和**--bootstrap-server** 方法任选一种即可，相关区别请参见[常见问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24136.html#mrs_01_24136__section74791413182617)。
   
   - MRS 3.3.1及之后版本，Kafka不再支持使用"--zookeeper"方式创建Topic。
    
   1. 执行以下命令创建Topic。
      ```
      ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties
      ```
      ```
      ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka
      ```
      例如，执行以下命令，创建一个名称为"topic01"的主题，占用分区数为1，备份数为2，Kafka集群IP和端口可以参考[2]获取：
      ```
      ./kafka-topics.sh --create --topic topic01 --partitions 1 --replication-factor 2 --bootstrap-server x.x.x.x:21007 --command-config ../config/client.properties
      ```
      执行结果如下，表示创建成功：
      ```
      Created topic topic01.
      ```
      
   
   2. 执行以下命令查看Topic信息。
      ```
      ./kafka-topics.sh --describe --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties --topic 主题名称
      ```
      ```
      ./kafka-topics.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --topic 主题名称
      ```
      例如，执行以下命令，查看已创建的"topic01"信息：
      ```
      ./kafka-topics.sh --describe --bootstrap-server x.x.x.x:21007 --command-config ../config/client.properties --topic topic01
      ```
      例如执行后结果如下：
      ```
      Topic: topic01  TopicId: 5KuoIR0VQ0W-ne0Qej1vNw PartitionCount: 1       ReplicationFactor: 2    Configs: 
      ...
      ```
      
   
   
   
   
 
#### 相关文档
- 更多管理Kafka Topic相关操作请参考[管理Kafka Topic](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300272.html)。
- 使用Kafka客户端命令创建Topic时，报错NoAuthException、KeeperErrorCode = NoAuth for /config/topics，请参考[创建Kafka Topic时报错"NoAuthException"](https://support.huaweicloud.com/trouble-mrs/mrs_03_0121.html)章节进行处理。
- 使用Kafka客户端命令创建Topic时，报错NoNodeException: KeeperErrorCode = NoNode for /brokers/ids，请参考[创建Kafka Topic时报错"NoNode for /brokers/ids"](https://support.huaweicloud.com/trouble-mrs/mrs_03_0123.html)章节进行处理。
- 使用Kafka客户端命令创建Topic时，报错replication factor larger than available brokers，请参考[创建Kafka Topic时报错"replication factor larger than available brokers"](https://support.huaweicloud.com/trouble-mrs/mrs_03_0124.html)章节进行处理。
- 使用Kafka客户端命令创建Topic时，发现创建Topic Partition的Leader显示为none，请参考[创建Kafka Topic时，发现Partition的Leader显示为none](https://support.huaweicloud.com/trouble-mrs/mrs_03_0139.html)章节进行处理。
- 使用Kafka客户端获取Topic时报错"ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 0."，请参考[获取Kafka Topic时报错"InvalidReplicationFactorException"](https://support.huaweicloud.com/trouble-mrs/mrs_03_0044.html)章节进行处理。
- 删除Kafka Topic后发现未成功删除时，请参考[删除Kafka Topic时发现无法删除](https://support.huaweicloud.com/trouble-mrs/mrs_03_0108.html)章节进行处理。
- 删除Kafka Topic时报错"ERROR kafka.admin.AdminOperationException: Error while deleting topic test4"，请参考[删除Kafka Topic时报错"AdminOperationException"](https://support.huaweicloud.com/trouble-mrs/mrs_03_0120.html)章节进行处理。