# ALM-45636 Flink作业连续checkpoint失败
#### 告警解释
系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查Checkpoint连续失败次数，如果Flink作业Checkpoint连续失败次数达到用户配置的阈值（job.alarm.checkpoint.consecutive.failures.num，默认值：5），则发送告警。当Checkpoint恢复正常，或者作业重启成功，则告警恢复。
本章节仅适用于MRS 3.1.2-LTS至MRS 3.3.0-LTS版本。
#### 告警参数值配置
**配置FlinkServer方式提交的作业的告警参数。**
1. 登录Manager，选择"集群 \> 服务 \> Flink \> 配置 \> 全部配置"，搜索待修改的告警参数名称。
2. 修改"FlinkServer（角色）"下该告警参数的值，修改完成后，单击"保存" 。
3. 单击"实例"页签，勾选FlinkServer实例，选择"更多 \> 重启实例"，实例重启成功后，修改的告警参数值生效。
**配置Flink客户端方式提交的作业的告警参数。**
1. 执行以下命令，进入Flink客户端安装目录 例如："/opt/hadoopclient/Flink/flink"。 
   ```
   cd /opt/hadoopclient/Flink/flink
   ```
   
   
2. 执行以下命令，编辑客户端**flink-conf.yaml** 配置文件，修改告警参数值。
   
   ```
   vim conf/flink-conf.yaml
   ```
   
   
3. 修改完成后执行**:wq**保存退出。
 
#### 告警属性
| 告警ID  | 告警级别 | 是否自动清除 |
|:---|:---|:---|
| 45636 | 重要   | 是      |
   
#### 告警参数
| 参数名称 | 参数含义       |
|:---|:---|
| 来源   | 产生告警的集群名称。 |
| 服务名  | 产生告警的服务名称。 |
| 任务名  | 产生告警的任务名称。 |
| 用户名  | 产生告警的用户名称。 |
   
#### 对系统的影响
Flink作业的CheckPoint连续失败，超过阈值后Flink作业有失败的风险，需要用户介入查看Flink作业运行状态和日志来确定问题原因，是Flink作业级别的告警，对FlinkServer本身没有影响。
#### 可能原因
失败原因可在具体日志中查看。
#### 处理步骤
1. 使用具有FlinkServer管理操作权限的用户登录Manager。
2. 选择"集群 \> 服务 \> Yarn"，单击"ResourceManager WebUI"后的链接进入Yarn页面。
3. 根据告警"定位信息"中的任务名找到失败任务，查找并记录失败作业的"application ID"，是否可以在Yarn页面上查看到作业日志。 
   图1作业的"application ID"   
   ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001986940009.png "点击放大")
   是，执行[步骤 4]。
   否，执行[步骤 6]。
   
   
4. 单击失败作业application ID进入作业界面。
   
   1. 单击作业"Logs"列的"Logs"，查看jobmanager日志。
      图2单击"Logs"   
      ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001987059869.png "点击放大") 
   
   2. 单击"Attempt ID"列的ID，单击"Logs"列的"Logs"，查看taskmanager日志。
      图3单击"Attempt ID"列的ID   
      ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001986940049.png "点击放大")
      图4单击"Logs"   
      ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001953140654.png "点击放大")
      ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
      使用具有FlinkServer管理操作权限的用户登录Manager，选择"集群 \> 服务 \> Flink"，单击"Flink WebUI"后的链接，单击"作业管理"，在作业的"操作"列选择"更多 \> 作业详情"也可查看taskmanager日志。
      
   
   
   
   
5. 查看失败作业日志进行故障修复，或联系运维人员，并发送已收集的故障日志信息。操作结束。
**若无法在Yarn页面上查看日志，可通过HDFS下载日志。**
6. 返回Manager，选择"集群 \> 服务 \> HDFS"，单击"NameNode WebUI"后的链接进入HDFS页面，选择"Utilities \> Browse the file system"，在"/tmp/logs/*用户名* /logs/*失败任务的application ID*"目录下载日志。
7. 查看失败作业日志进行故障修复，或联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
Flink作业Checkpoint恢复或作业重启成功后，则告警恢复，无需手动清除。
#### 参考信息
无。