更新时间:2024-09-04 GMT+08:00

ALM-18023 Yarn任务挂起数超过阈值

告警解释

告警模块按60秒周期检测Yarn队列上pending的应用的数量,当root队列上处于pending状态的应用的数量超过60时,触发该告警。

告警属性

告警ID

告警级别

是否自动清除

18023

重要

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

队列名

产生告警的队列名。

队列指标名

产生告警的队列指标名。

对系统的影响

  • 应用任务结束时间变长。
  • 新应用提交后长时间无法运行。

可能原因

  • NodeManager节点资源过小。
  • 队列最大资源容量设置过小,AM最大资源百分比设置过小。
  • 监控阈值设置过小。

处理步骤

检查NodeManager节点资源

  1. 在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”,进入ResourceManager的WebUI页面。
  2. 单击“Scheduler”,在“Application Queues”中查看root队列是否资源用满。

    • 是,执行3
    • 否,执行4

  3. 对Yarn服务的NodeManager实例进行扩容。扩容后,查看告警是否消除。

    • 是,处理完毕。
    • 否,执行6

检查队列最大资源容量和AM最大资源百分比

  1. 查看pending任务对应的队列的资源是否用满。

    • 是,执行5
    • 否,执行6

  2. 在FusionInsight Manager界面,选择 “租户资源 > 动态资源计划”,根据实际需要,适当增加相应的队列资源。查看告警是否消除。

    • 是,处理完毕。
    • 否,执行6

调整监控阈值

  1. 在FusionInsight Manager界面,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”,根据实际需要,适当增加该告警的监控阈值。
  2. 等待5分钟,查看该告警是否消除。

    • 是,处理完毕。
    • 否,执行8

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“Yarn”。
  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。