文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用Kafka/ Kafka客户端使用实践
更新时间：2026-06-11 GMT+08:00
查看PDF
分享

Kafka客户端使用实践

操作场景

该任务指导用户在运维场景或业务场景中使用Kafka客户端，实现对Kafka主题的创建、查看、修改、删除等操作。

前提条件

  • 已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。

    下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。

  • 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（集群未启用Kerberos认证（普通模式）时不涉及）

    创建用户相关操作请参考创建Kafka用户并绑定角色。

  • 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。

约束与限制

MRS 3.3.1及之后版本，Kafka不再支持使用“--zookeeper”方式创建Topic。

操作视频

使用Kafka客户端

  1. 登录MRS集群Manager。

    登录集群Manager具体操作，请参考访问MRS集群Manager。

  2. 获取Kafka节点业务IP及端口。

    1. 选择“集群 > 服务 > Kafka > 实例”，查看并记录任意一个Broker角色实例的业务IP地址。
    2. 选择“配置 > 全部配置”，并根据集群模式获取端口号：
      • 集群已启用Kerberos认证（安全模式）：搜索“sasl.port”参数，查看并记录端口号，默认为21007。
      • 集群未启用Kerberos认证（普通模式）：搜索“port”参数，查看并记录端口号，默认为9092。

  3. 获取ZooKeeper节点业务IP及端口。

    1. 选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。
    2. 选择“配置 > 全部配置”，搜索“clientPort”，查看并记录端口号。

      创建LTS版本类型集群时，可以选择“组件端口”为“开源”场景或“定制”场景，选择“开源”时ZooKeeper默认端口为2181，选择“定制”时ZooKeeper默认端口为24002。

  4. 以客户端安装用户，登录安装客户端的节点。
  5. 执行以下命令，切换到客户端安装目录，例如安装目录为“/opt/client”，具体以实际替换。 

    cd /opt/client

  6. 执行以下命令配置环境变量。 

    source bigdata_env

  7. 执行以下命令，进行用户认证。（集群未启用Kerberos认证（普通模式）时跳过此步骤） 

    kinit 组件业务用户

  8. 执行以下命令进入Kafka客户端“bin”目录。 

    cd Kafka/kafka/bin

  9. 执行以下操作，使用kafka-topics.sh管理Kafka主题。

    • 以下--zookeeper和--bootstrap-server方法任选一种即可，相关区别请参见常见问题。
    • MRS 3.3.1及之后版本，Kafka不再支持使用“--zookeeper”方式创建Topic。
    1. 执行以下命令创建Topic。 
      ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties
      ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka

      例如，执行以下命令，创建一个名称为“topic01”的主题，占用分区数为1，备份数为2，Kafka集群IP和端口可以参考2获取：

      ./kafka-topics.sh --create --topic topic01 --partitions 1 --replication-factor 2 --bootstrap-server x.x.x.x:21007 --command-config ../config/client.properties

      执行结果如下，表示创建成功：

      Created topic topic01.
    2. 执行以下命令查看Topic信息。 
      ./kafka-topics.sh --describe --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties --topic 主题名称
      ./kafka-topics.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --topic 主题名称

      例如，执行以下命令，查看已创建的“topic01”信息：

      ./kafka-topics.sh --describe --bootstrap-server x.x.x.x:21007 --command-config ../config/client.properties --topic topic01

      例如执行后结果如下：

      Topic: topic01  TopicId: 5KuoIR0VQ0W-ne0Qej1vNw PartitionCount: 1       ReplicationFactor: 2    Configs: 
...

相关文档

父主题： 使用Kafka

相关文档