文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ FusionInsight Manager操作指导（适用于3.x）/ 告警参考（适用于MRS 3.x版本）/ ALM-18023 Yarn任务挂起数超过阈值
更新时间：2023-03-17 GMT+08:00
查看PDF
分享

ALM-18023 Yarn任务挂起数超过阈值

告警解释

告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。

告警属性

告警ID

告警级别

是否自动清除

18023

重要

是

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

队列名

产生告警的队列名。

队列指标名

产生告警的队列指标名。

对系统的影响

  • 应用任务结束时间变长。
  • 新应用提交后长时间无法运行。

可能原因

  • NodeManager节点资源过小。
  • 队列最大资源容量设置过小，AM最大资源百分比设置过小。
  • 监控阈值设置过小。

处理步骤

检查NodeManager节点资源

  1. 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。
  2. 单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。

    • 是，执行3。
    • 否，执行4。

  3. 对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。

    • 是，处理完毕。
    • 否，执行6。

检查队列最大资源容量和AM最大资源百分比

  1. 查看pending任务对应的队列的资源是否用满。

    • 是，执行5。
    • 否，执行6。

  2. 在FusionInsight Manager界面，选择 “租户资源 > 动态资源计划”，根据实际需要，适当增加相应的队列资源。查看告警是否消除。

    • 是，处理完毕。
    • 否，执行6

调整监控阈值

  1. 在FusionInsight Manager界面，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 任务 > 正在挂起的任务”，根据实际需要，适当增加该告警的监控阈值。
  2. 等待5分钟，查看该告警是否消除。

    • 是，处理完毕。
    • 否，执行8。

收集故障信息。

  1. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“Yarn”。
  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
  4. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。