更新时间:2024-09-05 GMT+08:00
ALM-45637 FlinkServer作业task持续背压
适用于MRS 3.1.2及之后版本。
告警解释
系统以用户配置的告警周期检查作业Task持续背压时间,如果FlinkServer作业Task持续背压时间达到用户配置的阈值,则发送告警。当作业Task背压恢复或者作业重启成功,则告警恢复。
告警属性
告警ID |
告警级别 |
是否自动清除 |
---|---|---|
45637 |
次要 |
是 |
告警参数
参数名称 |
参数含义 |
---|---|
来源 |
产生告警的集群名称。 |
服务名 |
产生告警的服务名称。 |
任务名 |
产生告警的任务名称。 |
对系统的影响
Flink作业Task持续背压,作业持续背压会导致性能问题,或者CheckPoint失败,进而导致Flink作业失败,需要用户介入查看Flink作业运行情况和日志来确认原因,是Flink作业级别的告警,对FlinkServer本身没有影响。
可能原因
FlinkServer作业Task持续背压的具体原因可在具体日志中查看。
处理步骤
- 使用具有FlinkServer管理操作权限的用户登录Manager。
- 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。
- 根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。
图1 作业的“application ID”
是,执行4。
否,执行6。
- 单击失败作业application ID进入作业界面。
- 单击作业“Logs”列的“Logs”,查看jobmanager日志。
图2 单击“Logs”
- 单击“Attempt ID”列的ID,单击“Logs”列的“Logs”,查看taskmanager日志。
图3 单击“Attempt ID”列的ID
图4 单击“Logs”
使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看taskmanager日志。
- 单击作业“Logs”列的“Logs”,查看jobmanager日志。
- 查看失败作业日志进行故障修复,或联系运维人员,并发送已收集的故障日志信息。操作结束。
若无法在Yarn页面上查看日志,可通过HDFS下载日志。
告警清除
FlinkServer作业Task背压恢复或者作业重新启动成功,则告警恢复,无需手动清除。
参考信息
无。
父主题: MRS集群告警处理参考