更新时间:2024-09-27 GMT+08:00

管理Flink作业

用户创建了新作业后,需要根据用户的实际需求对作业进行操作,包括编辑作业基本信息,启停作业、导入/导出作业等。

编辑作业

用户可以对已经创建的作业进行编辑,如修改SQL语句、作业名称和描述、作业配置信息等。

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  2. 在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
  3. 根据实际需求编辑作业。

    具体请参考创建Flink OpenSource SQL作业创建Flink Jar作业

启动作业

用户可以启动已创建保存的作业或已经停止的作业。

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  2. 启动作业,有以下两种方式:

    • 启动单个作业

      选择一个作业,在对应的“操作”列中,单击“启动”

      也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”

    • 批量启动作业

      勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。

    单击“启动”后,跳转至“作业配置清单”页面。

  1. “作业配置清单”页面,确认作业信息及价格,如果无误,单击“立即启动”

    作业启动后,可在对应作业的状态列中查看运行成功或失败。

停止作业

当用户不需要运行某个作业时,用户可以将状态为“运行中”“提交中”的作业停止。

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  2. 停止作业,有以下两种方式:

    • 停止单个作业

      选择需要停止的作业,在对应的“操作”列中,单击更多 > 停止

      也可以在作业列表中,勾选一个作业,单击作业列表左上方的“停止”

    • 批量停止作业

      勾选多个需要停止作业,单击作业列表左上方的“停止”。可以停止多个作业。

  3. 在弹出的“停止作业”窗口中,单击“确认”,停止作业。

    图1 停止作业
    • 在停止作业之前,用户可以触发保存点,保存作业的状态信息。当该作业再次启动时用户可以选择是否从保存点恢复。
    • 勾选“触发保存点”表示创建保存点。不勾选“触发保存点”表示不创建保存点。默认不创建保存点。
    • 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自动删除,不会一直保存。
    停止作业过程中,在作业列表的“状态”列中将显示作业状态,说明如下:
    • 如果在“状态”中显示“停止中”,表示正在停止作业。
    • 如果在“状态”中显示“已停止”,表示停止作业成功。
    • 如果在“状态”中显示“停止失败”,表示停止作业失败。

删除作业

当用户不再需要使用某个作业时,可以参考如下操作删除该作业。作业删除后,将不可恢复,请谨慎操作。

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  1. 删除作业,有以下两种方式:

    • 删除单个作业

      在需要删除作业对应的“操作”列中,单击更多 > 删除,弹出“删除作业”页面。

      也可以在作业列表中,勾选一个作业,单击作业列表左上方的“删除”,弹出“删除作业”页面。

    • 批量删除作业

      勾选多个需要删除作业,单击作业列表左上方的“删除”,弹出“删除作业”页面,可以删除多个作业。

  2. 单击“确定”,完成作业的删除。

导出作业

用户可以将所创建的Flink作业导出至OBS桶中。

适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。

切换项目或用户时,需要对新项目或用户授权,具体请参考Flink作业权限管理

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  1. 单击右上角“导出作业”,打开“导出作业”对话框。

    图2 导出作业

  2. 选择保存作业的OBS桶。单击“下一步”
  3. 选择待导出的作业。

    默认导出所有作业,也可以勾选“自定义导出”选择需要导出的作业。

  4. 单击“确认导出”,完成导出作业。

导入作业

用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。

适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。

如果需要导入自建的作业,建议使用创建作业的功能。

具体请参考创建Flink OpenSource SQL作业创建Flink Jar作业

  • 切换项目或用户时,需要对新项目或用户授权,具体请参考Flink作业权限管理
  • 仅支持导入与从DLI导出的Flink作业相同数据格式的作业。
  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  1. 单击右上角“导入作业”,打开“导入作业”对话框。
  2. 选择需导入的作业配置文件的完整OBS路径。单击“下一步”
  3. 配置同名作业策略。单击“下一步”

    • 勾选“配置同名替换”,如果待导入的作业名已存在,则覆盖已存在的作业配置,并且作业状态重置为草稿。
    • 不勾选“配置同名替换”,如果待导入的作业名已存在,则不导入同名作业的配置。

  4. 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”,完成导入作业。

名称和描述修改

用户可以根据需要修改作业名称和描述。

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入Flink作业管理页面。
  2. 在需要修改名称和描述的作业对应的“操作”列中,单击更多 > 名称和描述修改,弹出“属性修改”页面。修改作业名称和描述。
  3. 单击“确定”完成修改。

触发保存点

在停止作业时,您可以触发保存点,保存作业的状态信息。当该作业再次启动时,您可以选择是否从最近的保存点恢复。

  • 状态为“运行中”的作业可以“触发保存点”,保存作业的状态信息。
  • 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自动删除,不会一直保存。

导入保存点

导入保存点用于恢复作业状态。关于保存点,可参见Flink官方文档Checkpointing说明

具体操作为:选择保存点的OBS路径,选择完成后,单击“确认”完成导入。

运行时配置

用户可通过选择“运行时配置”配置作业异常告警和重启选项。

支持Flink SQL作业,Flink jar作业和Flink OpenSource SQL作业。

  1. 在对应Flink作业“操作”列>“更多”中单击“运行时配置”。
  2. 在“运行时配置”页面配置以下参数。
    图3 运行时配置
    表1 作业运行参数说明

    参数

    参数说明

    名称

    作业的名称。

    作业异常告警

    设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。

    勾选后需配置下列参数:

    “SMN主题”

    选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》“创建主题”章节。

    异常自动重启

    设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。

    勾选后需配置下列参数:

    • “异常重试最大次数”:配置异常重试最大次数。单位为“次/小时”。
      • 无限:无限次重试。
      • 有限:自定义重试次数。
    • “从Checkpoint恢复”:从已保存的checkpoint恢复作业。
      说明:

      Flink SQL作业和Flink OpenSource SQL作业不支持配置该参数。

      勾选该参数后,Flink jar作业还需要选择“Checkpoint路径”。

      “Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。