更新时间:2025-09-03 GMT+08:00

访问Kafka Manager

Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。

表1 Kafka Manager功能对应的Kafka实例控制台功能

Kafka Manager功能

Kafka实例控制台功能

查看实例的Topic

在“实例管理 > Topic管理”页面,查看Topic列表。

查看队列基本信息

在“实例管理 > Topic管理”页面,查看每个Topic的基本信息,包括副本数、分区数和老化时间等。

Topic分区平衡

在“实例管理 > Topic管理”页面,修改分区平衡,支持手动平衡和自动平衡。

更新Topic配置

在“实例管理 > Topic管理”页面,修改Topic配置参数。

查看消费组列表

在“实例管理 > 消费组管理”页面,查看消费组列表。

查看消费组详情页

在“实例管理 > 消费组管理”页面,单击消费组名称,进入消费组详情页,查看消费者列表和消费进度。

查看消费组队列详情页

在“实例管理 > 消费组管理”页面,单击消费组名称,进入消费组详情页。在“消费进度”页签中,查看消费组消费的所有Topic列表以及每个Topic的总堆积数和每个分区的消费状态。

集群监控信息/队列监控信息

在“监控 > 监控详情”页面,查看实例的监控信息。

前提条件

已配置如表2所示安全组。

表2 安全组规则

方向

协议

端口

源地址

说明

入方向

TCP

9999

Kafka客户端所在的IP地址或地址组

访问Kafka Manager。

登录Kafka Manager

  1. 创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考创建弹性云服务器
  2. 在实例详情信息页面,获取Kafka Manager地址。
  3. 在浏览器中输入Kafka Manager的地址,进入Kafka Manager登录页面。
  4. 输入创建实例时设置的Kafka Manager用户名和密码,即可管理Kafka集群。

查看Kafka Manager

在进入Kafka Manager集群管理页面后,您可以查看Kafka集群的监控、代理等信息。

  • 集群信息页
    单击Clusters中的集群列表,即可进入集群信息页。如图1所示。
    • 图中①区域表示功能导航栏。
      • Cluster:集群,统计集群列表和集群详情。
      • Brokers:代理,统计当前集群中各代理的状态信息。
      • Topic:队列,统计当前集群中的kafka队列。
      • Preferred Replica Election:强制进行一次队列leader的最优选举(不建议用户操作)。
      • Reassign Partitions:进行分区副本的重分配(不建议用户操作)。
      • Consumers:统计集群中的消费组状态。
    • 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。
    图1 集群信息页
  • 集群所有代理统计页

    单击功能导航栏中的Brokers,即可进入代理统计页。如图2所示。

    • 图中①区域代理列表,包含总的字节流入和字节流出。
    • 图中②集群监控信息。
    图2 所有代理统计页
  • 具体代理统计页

    单击id列表中具体的Broker,即可查看对应代理的统计信息。如图3所示。

    • 图中①区域表示对应代理总的统计信息,包括队列数、分区数、分区leader数、消息速率占比、写入字节占比以及流出字节占比。
    • 图中②区域表示代理监控信息。
    图3 具体Broker信息
  • 查看实例的Topic

    在导航栏选择Topic,并在下拉列表中选择List。页面如图4所示,展示了队列列表以及分区数等。

    列表中以“__”开头的队列为内部队列,严禁操作,否则可能导致业务问题。

    图4 查看实例的Topic
  • 队列详情页

    单击具体的Topic名称,进入如图5所示页面。

    • 图中①区域表示队列基本信息,包括副本数(Replication),分区数(Number of Partitions),消息数(Sum of partition offsets)等。
    • 图中②区域表示代理与队列分区的对应关系。
    • 图中③区域表示该队列的消费组列表。单击消费组名称可进入该消费组的详情页。
    • 图中④区域表示队列的配置信息。详情参考Kafka队列官方配置文档
    • 图中⑤区域表示队列监控数据统计。
    • 图中⑥区域表示队列分区信息,包括分区消息数(Latest Offset),分区leader(Leader),副本列表(Replicas),同步副本列表(In Sync Replicas)。
    图5 队列详情页
  • 查看消费组列表

    导航栏中单击Consumers,即可查看当前集群中的消费组列表。此页面只显示14天内有消费记录的消费组。

    图6 集群的消费组列表
  • 查看消费组详情页

    单击消费组名称可进入消费组详情页面,展示消费组消费的所有队列列表以及每个队列的可消费数(Total Lag)。

    图7 消费组详情页面
  • 查看消费组队列详情页

    单击队列名称,即可进入详情页面,查看消费组消费在队列中每个分区的消费状态。包括分区编号(Partition)、分区消息数(LogSize)、分区消费进度(Consumer Offset)、分区剩余可消费数(Lag)和最近消费该分区的消费者(Consumer Instance Owner)。

    图8 消费组队列详情页面