文档首页/ MapReduce服务 MRS/ 开发指南（普通版_2.x）/ Kafka开发指南/ Kafka应用开发常见问题/ Kafka接口介绍/ Kafka Shell命令介绍
更新时间：2024-06-14 GMT+08:00
查看PDF
分享

Kafka Shell命令介绍

前提条件

Kafka的Linux客户端已安装。安装方法可参考安装客户端。

常用的Shell命令指南

Shell命令执行方法：

  1. 进入Kafka客户端任意目录。
  2. 初始化环境变量。

    source /opt/client/bigdata_env

  3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户（该用户需要加入kafkaadmin用户组拥有Kafka管理员权限）。如果当前集群未启用Kerberos认证，则无需执行此命令。

    kinit MRS集群用户

    例如：kinit admin

  4. 进入“客户端安装目录/Kafka/kafka/bin”执行Kafka shell命令。

常用的命令如下：

  • 查看当前集群Topic列表。

    sh kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka>

  • 查看单个Topic详细信息。

    sh kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka> --topic <Topic名称>

  • 删除Topic，由管理员用户操作。

    sh kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:2181/kafka> --topic <Topic名称>

  • 创建Topic，由管理员用户操作。

    sh kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:2181/kafka> --partitions 6 --replication-factor 2 --topic <Topic名称>

  • Old Producer API生产数据。

    sh kafka-console-producer.sh --broker-list <Kafka集群IP:9092> --topic <Topic名称> --old-producer -sync

  • Old Consumer API消费数据。

    sh kafka-console-consumer.sh --zookeeper <ZooKeeper集群IP:2181/kafka> --topic <Topic名称> --from-beginning

  • Producer API生产消息，需要拥有该Topic生产者权限。

    sh kafka-console-producer.sh --broker-list <Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties

  • Consumer API消费数据，需要拥有该Topic的消费者权限

    sh kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server <Kafka集群IP:21007> --new-consumer --consumer.config config/consumer.properties

  • 未开启Kerberos认证的Kafka集群端口默认为9092，开启Kerberos认证的Kafka集群端口默认为21007。
  • 登录MRS Manager，选择“服务管理 > ZooKeeper > 实例”，获取ZooKeeper的quorumpeer实例的“管理IP”地址。
  • 登录MRS Manager，选择“服务管理 > Kafka > 实例”，获取Kafka的broker实例的“管理IP”地址。
父主题： Kafka接口介绍

相关文档