更新时间:2024-08-29 GMT+08:00
分享

ALM-45636 Flink作业连续checkpoint失败

本章节仅适用于MRS 3.1.2及至MRS 3.3.0版本。

告警解释

系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。当Checkpoint恢复正常,或者作业重启成功,则告警恢复。

告警属性

告警ID

告警级别

是否自动清除

45636

重要

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

任务名

产生告警的任务名称。

用户名

产生告警的用户名称。

对系统的影响

Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别的告警,对FlinkServer本身没有影响。

可能原因

失败原因可在具体日志中查看。

处理步骤

  1. 使用具有FlinkServer管理操作权限的用户登录Manager。
  2. 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。
  3. 根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。

    图1 作业的“application ID”

    是,执行4

    否,执行6

  4. 单击失败作业application ID进入作业界面。

    1. 单击作业“Logs”列的“Logs”,查看jobmanager日志。
      图2 单击“Logs”
    2. 单击“Attempt ID”列的ID,单击“Logs”列的“Logs”,查看taskmanager日志。
      图3 单击“Attempt ID”列的ID
      图4 单击“Logs”

      使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看taskmanager日志。

  5. 查看失败作业日志进行故障修复,或联系运维人员,并发送已收集的故障日志信息。操作结束。

若无法在Yarn页面上查看日志,可通过HDFS下载日志。

  1. 返回Manager,选择“集群 > 服务 > HDFS”,单击“NameNode WebUI”后的链接进入HDFS页面,选择“Utilities > Browse the file system”,在“/tmp/logs/用户名/logs/失败任务的application ID”目录下载日志。
  2. 查看失败作业日志进行故障修复,或联系运维人员,并发送已收集的故障日志信息。

告警清除

Flink作业Checkpoint恢复或作业重启成功后,则告警恢复,无需手动清除。

参考信息

无。

相关文档