文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-38019 Broker进程Full GC次数超过阈值
更新时间:2025-12-11 GMT+08:00
分享

ALM-38019 Broker进程Full GC次数超过阈值

告警解释

系统每60秒周期性检测Broker进程的Full GC次数,当连续3次检测到Broker进程的Full GC次数超过12次时产生重要告警,连续3次检测超过12*0.8(向下取整)次时产生次要告警。

用户可通过登录Manager选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Kafka > 进程 > Broker每分钟的Full GC次数统计”修改阈值。当Broker进程Full GC次数小于或等于阈值时,告警恢复。

该告警仅适用于MRS 3.6.0及之后版本。

告警属性

告警ID

告警级别

是否可自动清除

38019

次要(默认阈值为连续3次检测超过9次)

重要(默认阈值为连续3次检测超过12次)

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名称。

附加信息

门限值

系统当前指标取值满足自定义的告警设置条件的门限值。

当前值

系统当前指标取值满足自定义的告警设置条件的当前值。

对系统的影响

Broker进程的Full GC次数超出阈值,影响该Broker进程正常提供读写功能。

可能原因

该节点Broker进程堆内存使用率过大,或配置的堆内存大小不合理,导致进程Full GC频繁。

处理步骤

检查Broker进程的Full GC时间。

  1. 登录MRS Manager,选择“运维 > 告警 > 告警”,在告警列表中查看当前告警的详细信息,在定位信息中查看告警上报的实例的主机名。
  2. 选择“集群 > 服务 > Kafka > 实例”,单击上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Broker Full GC次数”,单击“确定”。
  3. 查看Broker每分钟的Full GC次数统计值是否大于告警阈值(次要:9次;重要:12次)。

检查Kafka配置的堆内存大小。

  1. 在MRS Manager首页,选择“集群 > 服务 > Kafka > 配置 > 全部配置 > Broker(角色) > 环境变量”。将“KAFKA_HEAP_OPTS”参数中配置的“-Xmx”值参考如下说明调大:

    • 建议“KAFKA_HEAP_OPTS”参数中“-Xmx”和“-Xms”值保持一致。
    • 建议根据“Kafka堆内存资源状况”调整“KAFKA_HEAP_OPTS”的值为“Kafka使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。“Kafka堆内存资源状况”可在MRS Manager首页,选择“集群 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Kafka堆内存资源状况”进行查看。

  2. 保存配置,并重启Kafka服务。
  3. 等待约5分钟,观察界面告警是否清除。

    • 是,处理完毕。
    • 否,执行步骤 7

收集故障信息。

  1. 在MRS Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”框中勾选待操作集群的“Kafka”。
  3. 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。

相关文档