文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-18009 JobHistoryServer堆内存使用率超过阈值
更新时间:2024-10-24 GMT+08:00

ALM-18009 JobHistoryServer堆内存使用率超过阈值

告警解释

系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率,并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce JobHistoryServer堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapreduce”修改阈值。

平滑次数为1,MapReduce JobHistoryServer堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,MapReduce JobHistoryServer堆内存使用率小于或等于阈值的95%时,告警恢复。

告警属性

告警ID

告警级别

是否自动清除

18009

重要

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

Mapreduce JobHistoryServer堆内存使用率过高,会影响Mapreduce 服务日志归档的性能,甚至造成内存溢出导致Mapreduce服务不可用。

可能原因

该节点Mapreduce JobHistoryServer实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。

处理步骤

检查内存使用量。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > MapReduce JobHistoryServer堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例主机名。
  2. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 实例 > JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。
  3. 查看JobHistoryServer使用的堆内存是否已达到JobHistoryServer设定的最大堆内存的95%。

    • 是,执行4
    • 否,执行6

  4. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GC_OPTS”参数根据实际情况调大,并单击“保存”,单击“确定”并进重启。

    • 历史任务数10000和JobHistoryServer内存的对应关系如下:

      -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G

    • 重启JobHistoryServer过程中,会影响Hive等任务状态的查询,可能导致查询结果不准确。

  5. 观察界面告警是否清除?

    • 是,处理完毕。
    • 否,执行6

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的如下节点信息。

    • NodeAgent
    • Mapreduce

  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。