文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-43006 JobHistory进程堆内存使用超出阈值(2.x及以前版本)
更新时间:2024-08-13 GMT+08:00
分享

ALM-43006 JobHistory进程堆内存使用超出阈值(2.x及以前版本)

告警解释

系统每30秒周期性检测JobHistory进程堆内存使用状态,当检测到JobHistory进程堆内存使用率超出阈值(最大内存的90%)时产生该告警。

告警属性

告警ID

告警级别

可自动清除

43006

严重

告警参数

参数名称

参数含义

ServiceName

产生告警的服务名称。

RoleName

产生告警的角色名称。

HostName

产生告警的主机名。

对系统的影响

JobHistory进程堆内存使用率过高,会影响JobHistory进程运行的性能,甚至造成内存溢出导致JobHistory进程不可用。

可能原因

该节点JobHistory进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。

处理步骤

  1. 检查堆内存使用率。

    1. 登录MRS集群详情页面,选择“告警管理”。
    2. 选中“告警ID”为“43006”的告警,查看“定位信息”中的实例的IP地址及角色名。
    3. 单击组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory进程的堆内存统计。单击“确定”,查看堆内存使用情况。
    4. 查看JobHistory进程使用的堆内存是否已达到JobHistory进程设定的最大堆内存的90%。
      • 是,执行1.e
      • 否,执行2
    5. 单击组件管理 > Spark > 服务配置 > 全部配置 > JobHistory > 默认。将“SPARK_DAEMON_MEMORY”参数的值根据实际情况调大。
    6. 单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”。
    7. 观察界面告警是否清除。
      • 是,处理完毕。
      • 否,执行2

  2. 收集故障信息。

    1. 在MRS Manager界面,单击“系统设置 > 日志导出”。
    2. 请联系运维人员,并发送已收集的故障日志信息。

参考信息

无。

相关文档