更新时间：2024-09-04 GMT+08:00
ALM-18023 Yarn任务挂起数超过阈值
告警解释
告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。
告警属性
|
告警ID |
告警级别 |
是否自动清除 |
|---|---|---|
|
18023 |
重要 |
是 |
告警参数
|
参数名称 |
参数含义 |
|---|---|
|
来源 |
产生告警的集群名称。 |
|
队列名 |
产生告警的队列名。 |
|
队列指标名 |
产生告警的队列指标名。 |
对系统的影响
- 应用任务结束时间变长。
- 新应用提交后长时间无法运行。
可能原因
- NodeManager节点资源过小。
- 队列最大资源容量设置过小，AM最大资源百分比设置过小。
- 监控阈值设置过小。
处理步骤
检查NodeManager节点资源
- 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。
- 单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。
- 对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。
- 是，处理完毕。
- 否，执行6。
检查队列最大资源容量和AM最大资源百分比
- 查看pending任务对应的队列的资源是否用满。
- 在FusionInsight Manager界面，选择 “租户资源 > 动态资源计划”，根据实际需要，适当增加相应的队列资源。查看告警是否消除。
- 是，处理完毕。
- 否，执行6
调整监控阈值
- 在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”，根据实际需要，适当增加该告警的监控阈值。
- 等待5分钟，查看该告警是否消除。
- 是，处理完毕。
- 否，执行8。
收集故障信息。
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
无。
父主题： MRS集群告警处理参考
