文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用Kafka/ 使用Kafka生产消费数据
更新时间：2024-12-11 GMT+08:00
查看PDF
分享

使用Kafka生产消费数据

操作场景

用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作，也可以通过登录KafkaUI查看当前集群的消费信息。

前提条件

  • 使用Kafka客户端时：已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
  • 使用KafkaUI操作时：已创建具有KafkaUI页面访问权限的用户，如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

    第一次访问Manager和KafkaUI，需要在浏览器中添加站点信任以继续访问KafkaUI。

使用Kafka客户端生产消费数据

  1. 安装客户端，具体请参考安装MRS客户端章节。
  2. 进入ZooKeeper实例页面：

    登录FusionInsight Manager，具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。

  3. 查看ZooKeeper角色实例的IP地址。

    记录ZooKeeper角色实例其中任意一个的IP地址即可。

  4. 登录安装客户端的节点。
  5. 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。

    cd /opt/client/Kafka/kafka/bin

  6. 执行以下命令，配置环境变量。

    source /opt/client/bigdata_env

  7. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。

    kinit Kafka用户

  8. 登录FusionInsight Manager，选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，记录“clientPort”的参数值。
  9. 创建一个Topic：

    sh kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份个数 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka

    例如：sh kafka-topics.sh --create --topic TopicTest --partitions 3 --replication-factor 3 --zookeeper 10.10.10.100:2181/kafka

    clientPort可在ZooKeeper的全部配置参数中搜索“clientPort”查看。默认端口如下：
    • 开源端口默认值为：2181
    • 定制端口默认值为：24002

    端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。

  10. 执行以下命令，查询集群中的Topic信息：

    sh kafka-topics.sh --list --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

    例如：sh kafka-topics.sh --list --bootstrap-server 10.10.10.100:21007 --command-config ../config/client.properties

  11. 删除9中创建的Topic：

    sh kafka-topics.sh --delete --topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka

    例如：sh kafka-topics.sh --delete --topic TopicTest --zookeeper 10.10.10.100:2181/kafka

使用KafkaUI查看消费信息

  1. 进入KafkaUI界面。

    1. 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。

      如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

    2. 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。

  2. 在“Cluster Summary”栏，可查看当前集群已有的Topic、Broker和Consumer Group数量。

  3. 单击“Brokers”、“Topics”、“Consumer Group”下方的数字，可自动跳转至对应页面，查看并操作对应信息。
  4. 在“Cluster Action”栏，可创建Topic与分区迁移，具体操作请分别参考使用KafkaUI创建Kafka Topic和使用KafkaUI迁移分区（MRS 3.5.0之前版本）章节。
  5. 在“Topic Rank”栏，可查看当前集群Topic日志条数、数据体积大小、数据流入量、数据流出量前十名的Topic。

  6. 单击“TopicName”可进入到该Topic的详情页面中，在该页面的具体操作请参考查看Kafka数据生产消费详情。
父主题： 使用Kafka