更新时间:2024-11-07 GMT+08:00

设置Flink作业优先级

操作场景

在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。

DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。

Flink 1.12及以上版本的作业支持设置作业优先级。

使用须知

  • 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源
  • 通用队列上运行的Flink作业优先级默认为5。
  • 作业优先级的调整需要停止作业进行编辑,并提交运行才能生效。
  • 对于Flink作业,请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。
  • 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。

设置Flink Opensource SQL作业优先级

  1. 登录DLI管理控制台。
  2. 单击“作业管理 > Flink作业”。
  3. 选择要待配置的作业,单击操作列下的编辑。
  4. 单击“自定义配置”。
  5. 在“自定义配置”中输入如下语句,先开启动态扩缩容功能,再设置作业优先级。

    对于Flink作业,必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。

    开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容

    flink.dli.job.scale.enable=true
    flink.dli.job.priority=x
    图1 Flink Opensource SQL作业配置样例

设置Flink Jar作业优先级

在“优化参数”中配置如下参数,其中x为优先级取值。

flink.dli.job.priority=x
  1. 登录DLI管理控制台。
  2. 单击“作业管理 > Flink作业”。
  3. 选择待配置的作业,单击操作列下的编辑。
  4. 在“优化参数”中输入如下语句。先开启动态扩缩容功能,再设置作业优先级。

    对于Flink作业,必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。

    开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容

    flink.dli.job.scale.enable=true
    flink.dli.job.priority=x
    图2 Flink Jar作业配置样例