更新时间:2024-09-27 GMT+08:00
设置Spark作业优先级
操作场景
在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。
DLI提供的设置作业优先级功能,可以对每个Spark作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
Spark 2.4.5及以上版本的作业支持设置作业优先级。
使用须知
- 对于每个作业都允许设置优先级,其取值为1-10,数值越大表示优先级越高。优先满足高优先级作业的计算资源,即如果高优先级作业计算资源不足,则会减少低优先级作业的计算资源
- 通用队列上运行的Spark作业的优先级默认为3。
- 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。
Spark作业操作步骤
在“Spark参数”中配置如下参数,其中x为优先级取值。
spark.dli.job.priority=x
- 登录DLI管理控制台。
- 单击“作业管理 > Spark作业”。
- 选择待配置的作业,单击操作列下的编辑。
- 在“Spark参数”中配置spark.dli.job.priority参数。
图1 Spark作业配置样例
父主题: 使用DLI提交Spark作业