配置Flink作业失败告警
Flink作业多为流式作业,一旦运行失败,即作业进入FAILED状态,可能造成数据处理中断、数据积压或业务损失。配置Flink作业失败告警后,作业失败时平台通过短信、邮件、站内信第一时间通知您,帮助您在分钟级发现作业异常、及时处理恢复,缩短业务中断时间,无需人工定时巡检作业状态。
配置Flink作业失败告警后:
- 作业失败时自动通知,无需人工盯屏或轮询查询作业状态。作业失败即刻触发,由云服务消息中心保障完成,不依赖单点监控。
- 告警通知包含失败作业名称、作业ID、所属端点、失败时间与失败原因,便于快速定位与处理。
Flink作业失败告警基于消息中心(MessageCenter)提供通知能力,建议先了解以下机制:
- 消息中心订阅与Flink作业为账号级关联,无需在作业中绑定消息主题或订阅ID。您只需在消息中心完成接收人订阅,并在提交作业时开启告警开关(alert_enabled为true)。
- 作业进入FAILED状态,平台自动通过云服务系统身份调用消息中心,消息中心根据您的账号订阅关系,将短信,或邮件,或站内信推送给已订阅的接收人。
- 告警通知仅用于发现作业失败后的通知,如需进一步分析失败根因,可配合作业运行历史查看作业详情与日志,或结合作业监控掌握作业运行趋势,实现从告警发现到日志定位到监控预防的闭环。
- 在Flink SQL Gateway上执行的作业运行失败时,同样可配置本告警功能接收通知。
约束与限制
- 作业进入FAILED状态时触发告警;CANCELLED和FINISHED状态不告警。
- 同一工作空间默认每分钟最多投递20条告警至短信和邮件,超出部分不再推送,但仍可在消息中心控制台的站内消息中查看全部告警信息。
前提条件
已开通AI DataLake服务并创建Flink引擎端点,具体操作请参见创建Flink引擎端点。
步骤一:在消息中心配置消息接收
Flink作业失败告警支持短信、邮件、站内信三种通知方式,不支持语音通知。请按需在消息中心完成接收人订阅。
新增接收人与订阅管理的详细操作请参见新增接收人和配置消息接收方式。
配置注意事项:
步骤二:提交Flink作业时开启告警
通过API提交Flink作业时,在请求体中设置alert_enabled为true。调用创建Flink作业(RunFlinkJob)接口,接口详情请参见创建Flink作业,请求示例如下:
POST /v2/workspaces/{workspace_id}/flink-jobs
Content-Type: application/json
X-Auth-Token: {token}
{
"name": "test-flink-job",
"endpoint_name": "Flink-endpoint-test",
"alert_enabled": true
} 告警相关参数说明如下表所示。
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| workspace_id | 是 | String | 工作空间ID,用于资源隔离。可在AI DataLake管理控制台“工作空间管理”页面查看。 |
| alert_enabled | 否 | Boolean | 是否对该作业开启失败告警通知。默认false(关闭),设为true时作业进入FAILED终态将触发告警。未设置时按默认关闭处理,该作业失败不会发送告警。 说明: alert_enabled为作业级参数,仅支持提交作业时设置,端点级、工作空间(workspace)级配置暂不支持。该开关默认为false,需显式传true才会开启告警。已开启告警(显式传true)的作业在版本升级后行为不变;老版本未设置该字段的作业升级后等效于关闭,不受影响。 |
步骤三:查看作业告警配置与通知内容
作业提交后,可通过API或控制台查看作业的告警配置情况,并了解告警通知包含的内容。
- 通过控制台查看:
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在“作业开发” >“作业运行历史”页面,单击“流处理引擎Flink”。
- 在Flink作业列表,单击目标作业名称。
- 查看作业详情。
- 通过API查看:
- 查询作业详情:调用查看Flink作业详情(ShowFlinkJob)接口。
GET /v2/workspaces/{workspace_id}/flink-jobs/{job_id}返回体包含alert_enabled字段。接口详情请参见查看Flink作业详情。
- 查询作业列表:调用查询Flink作业列表(ListFlinkJobs)接口。
GET /v2/workspaces/{workspace_id}/flink-jobs返回体中每个作业均包含alert_enabled字段。接口详情请参见查询Flink作业列表。
- 查询作业详情:调用查看Flink作业详情(ShowFlinkJob)接口。
作业失败告警通知包含以下关键信息,如下表所示。
| 字段 | 说明 |
|---|---|
| 账号信息 | 接收告警的账号ID。 |
| 端点名 | 作业所属Flink端点名称。 |
| 失败时间 | 作业进入FAILED状态的时间。 |
| 作业名 | 失败作业的名称。 |
| 作业ID | 失败作业的唯一标识。 |
| 失败信息 | 作业失败原因。 |
