ALM-50605 LDMS任务执行失败
告警解释
LDMS会监控提交到Yarn上的作业,如果作业失败则会上报任务执行失败告警。
本章节仅适用于MRS 3.6.0-LTS.1及之后版本。
告警属性
| 告警ID | 告警级别 | 是否可自动清除 |
|---|---|---|
| 50605 | 重要 | 是 |
告警参数
| 类别 | 参数名称 | 参数含义 |
|---|---|---|
| 定位信息 | 来源 | 产生告警的集群名称。 |
| 服务名 | 产生告警的服务名称。 | |
| 角色名 | 产生告警的角色名称。 | |
| 主机名 | 产生告警的主机名。 | |
| 附加信息 | Task Failure Rate | 产生告警的计算实例租户名和当前超过阈值的大小。 |
对系统的影响
LDMS计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。
可能原因
任务执行失败的可能原因有:表属性错误、权限问题、参数配置不合理等。
处理步骤
检查计算实例资源配置是否合理
- 使用可访问LDMS WebUI界面的管理员用户登录FusionInsight Manager。
- 选择“运维 > 告警 > 告警 > LDMS任务执行失败”,检查该告警的“附加信息”,查看并记录告警上报的租户名。
- 选择“集群 > 服务 > LDMS”,在概览页签下的“基本信息”区域,单击“LDMSServer”后的链接,进入LDMSServer界面。
- 在 “告警监控> 作业监控”页签,找到失败的作业。
- 根据作业信息在Yarn上找到实际失败的作业。
单击失败作业application ID进入作业界面。
单击作业“Logs”列的“Logs”,查看stdout日志。
查看失败作业日志进行故障修复,或联系运维技术支持人员,并发送已收集的故障日志信息。操作结束。
若无法在Yarn页面上查看日志,可通过HDFS下载日志。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
不涉及。