ALM-43009 JobHistory GC 时间超出阈值（2.x及以前版本）

告警解释

系统每60秒周期性检测JobHistory进程的GC时间，当检测到JobHistory进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JobHistory的GC时间 > JobHistory的总GC时间”修改阈值。 当JobHistory进程 GC时间小于或等于阈值时，告警恢复。

告警属性

告警参数

对系统的影响

GC时间超出阈值，会影响JobHistory进程运行的性能，甚至造成JobHistory进程不可用。

可能原因

该节点JobHistory进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。

处理步骤

1. 检查GC时间。
   1. 登录MRS集群详情页面，选择“告警管理”。
   2. 选中“告警ID”为“43009”的告警，查看“定位信息”中的实例的IP地址及角色名。
   3. 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制 > JobHistory的GC时间”。单击“确定”，查看GC时间。
   4. 查看JobHistory进程的GC时间是否大于12秒。
      • 是，执行1.e。
      • 否，执行步骤 2。
   5. 单击“组件管理 > Spark > 服务配置 > 全部配置 > JobHistory > 默认”。将“SPARK_DAEMON_MEMORY”参数的值根据实际情况调大。
   6. 观察界面告警是否清除。
      • 是，处理完毕。
      • 否，执行步骤 2。

2. 收集故障信息。
   1. 在MRS Manager界面，单击“系统设置 > 日志导出”。
   2. 请联系运维人员，并发送已收集的故障日志信息。

参考信息

无。