更新时间:2024-05-11 GMT+08:00

使用Kafka客户端

操作场景

该任务指导用户在运维场景或业务场景中使用Kafka客户端。

本章节适用于MRS 3.x及后续版本。

前提条件

  • 已安装客户端。例如安装目录为“/opt/client”。
  • 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及)
  • 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。

操作步骤

  1. 以客户端安装用户,登录安装客户端的节点。
  2. 执行以下命令,切换到客户端安装目录。

    cd /opt/client

  3. 执行以下命令配置环境变量。

    source bigdata_env

  4. 执行以下命令,进行用户认证。(普通模式跳过此步骤)

    kinit 组件业务用户

  5. 执行以下命令切换到Kafka客户端安装目录。

    cd Kafka/kafka/bin

  6. 执行以下命令使用客户端工具查看帮助并使用。

    • ./kafka-console-consumer.sh:Kafka消息读取工具
    • ./kafka-console-producer.sh:Kafka消息发布工具
    • ./kafka-topics.sh:Kafka Topic管理工具