ALM-45638 Flink作业失败重启次数超阈值
告警解释
系统以用户配置的告警周期检查（metrics.reporter.alarm.interval，默认值：30s）Flink作业重启次数，如果重启次数达到用户配置的阈值，则发送告警。当作业重启成功，则告警恢复。
该告警阈值计算公式为： 失败重启次数需要上报告警的比率*作业的最大重启次数 ，默认值为 3（80%*3 向上取整）。
其中：
1. 失败重启次数需要上报告警的比率为metrics.reporter.alarm.job.alarm.failure.restart.rate，默认值80 。
2. 作业的最大重启次数依据当前作业设置的重启策略restart-strategy（默认值为fixed-delay）：
（1）若重启策略为none，不涉及该告警。
（2）若重启策略为failure-rate、failure-rate重启策略配置的作业失败前最大重启次数 （restart-strategy.failure-rate.max-failures-per-interval）（默认值为1），
则告警阈值为 metrics.reporter.alarm.job.alarm.failure.restart.rate * restart-strategy.failure-rate.max-failures-per-interval 。
例如：failure-rate重启策略下、该告警阈值默认值即为1 （80%*1 向上取整），即如果该作业重启次数达到1次，即会发送告警。
（3）若重启策略为fixed-delay、fixed-delay重启策略配置的重启次数 （restart-strategy.fixed-delay.attempts）（默认值为3），
则告警阈值为 metrics.reporter.alarm.job.alarm.failure.restart.rate * restart-strategy.fixed-delay.attempts 。
例如：fixed-delay重启策略下，该告警阈值默认值即为3 （80%*3 向上取整），即如果该作业重启次数达到3次，即会发送告警。
本章节仅适用于MRS 3.2.0-LTS.1及以后版本的集群。
告警属性
|
告警ID |
告警级别 |
是否自动清除 |
|---|---|---|
|
45638 |
重要 |
是 |
告警参数
|
参数名称 |
参数含义 |
|---|---|
|
来源 |
产生告警的集群名称。 |
|
服务名 |
产生告警的服务名称。 |
|
任务名 |
产生告警的任务名称。 |
|
用户名 |
产生告警的用户名称。 |
对系统的影响
Flink作业重启次数超过阈值，说明Flink作业在频繁的失败重启，需要作业开发用户查看作业日志判断原因。本告警是Flink作业级别告警，对FlinkServer本身运行状态无影响。
可能原因
Flink重启次数超阈值的原因可在具体作业日志中查看。
处理步骤
查看作业日志。
- 使用具有FlinkServer管理操作权限、Manager界面管理权限及Yarn WebUI访问权限的用户登录MRS集群Manager。
- 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的
，查看告警详情中任务名称。 - 选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn WebUI页面。
- 根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，确认是否可以在Yarn页面上查看到作业日志。
图1 作业的“application ID”
- 单击失败作业application ID进入作业界面。
- 单击作业“Logs”列的“Logs”，查看jobmanager日志。
图2 单击“Logs”
- 单击“Attempt ID”列的ID，单击“Logs”列的“Logs”，查看taskmanager日志。
图3 单击“Attempt ID”列的ID
图4 单击“Logs”
使用具有FlinkServer管理操作权限的用户登录Manager，选择“集群 > 服务 > Flink”，单击“Flink WebUI”后的链接，单击“作业管理”，在作业的“操作”列选择“更多 > 作业详情”也可查看taskmanager日志。
- 单击作业“Logs”列的“Logs”，查看jobmanager日志。
- 查看失败作业日志进行故障修复，或联系运维人员，发送已收集的故障日志信息进行分析，操作结束。
若无法在Yarn页面上查看日志，可通过HDFS下载日志。
告警清除
Flink作业重新启动成功后，则告警恢复，无需手动清除。
参考信息
无。
