ALM-18023 Yarn任务挂起数超过阈值

告警解释

告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。

告警属性

告警参数

对系统的影响

• 应用任务结束时间变长。
• 新应用提交后长时间无法运行。

可能原因

• NodeManager节点资源过小。
• 队列最大资源容量设置过小，AM最大资源百分比设置过小。
• 监控阈值设置过小。

处理步骤

检查NodeManager节点资源

1. 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。
2. 单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。
   • 是，执行3。
   • 否，执行4。

3. 对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。
   • 是，处理完毕。
   • 否，执行6。

检查队列最大资源容量和AM最大资源百分比

4. 查看pending任务对应的队列的资源是否用满。
   • 是，执行5。
   • 否，执行6。

5. 在FusionInsight Manager界面，选择 “租户资源 > 动态资源计划”，根据实际需要，适当增加相应的队列资源。查看告警是否消除。
   • 是，处理完毕。
   • 否，执行6

调整监控阈值

6. 在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”，根据实际需要，适当增加该告警的监控阈值。
7. 等待5分钟，查看该告警是否消除。
   • 是，处理完毕。
   • 否，执行8。

收集故障信息。

8. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
9. 在“服务”中勾选待操作集群的“Yarn”。
10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
11. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。