文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-26054 Nimbus堆内存使用率超过阈值
更新时间:2024-08-13 GMT+08:00
分享

ALM-26054 Nimbus堆内存使用率超过阈值

告警解释

系统每30秒周期性检测Storm Nimbus堆内存使用率,并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值(默认值为80%)时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Storm > Nimbus”修改阈值。

当Storm Nimbus堆内存使用率小于或等于阈值时,告警恢复。

告警属性

告警ID

告警级别

是否自动清除

26054

重要

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

Storm Nimbus堆内存使用率过高时可能造成频繁GC,甚至造成内存溢出,进而影响Storm任务提交。

可能原因

该节点Storm Nimbus实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。

处理步骤

检查堆内存使用量。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 >Storm Nimbus堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。
  2. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Storm > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Nimbus > Nimbus堆内存使用率”。单击“确定”。
  3. 查看Nimbus使用的堆内存是否已达到Nimbus设定的阈值(默认值为最大堆内存的80%)。

    • 是,执行4
    • 否,执行6

  4. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务> Storm > 配置 > 全部配置 > Nimbus > 系统”。将“NIMBUS_GC_OPTS”参数中“-Xmx”的值根据实际情况进行调整,然后单击“保存”,单击“确定”。

    • 建议“-Xms”和“-Xmx”设置成相同的值,避免JVM动态调整堆内存大小时影响性能。
    • 当Storm集群规模越大,Worker数量越多时,可以适当调大Nimbus的GC_OPTS参数,配置建议如下:Worker数量为20个时,“-Xmx”设置为不小于1G;Worker超过100个时,“-Xmx”设置为不小于5G,以此类推。

  5. 重启受影响的服务或实例,观察界面告警是否清除。

    • 是,处理完毕。
    • 否,执行6

      服务或实例重启过程中,业务会出现中断,待服务或实例重启成功后业务恢复。

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的如下节点信息。

    • NodeAgent
    • Storm

  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。

相关文档