更新时间:2026-11-13 GMT+08:00
分享

设置Spark作业优先级

在实际业务运行中,不同作业的重要程度和紧急程度不同,部分关键作业需要优先获得计算资源以保障正常运行。AI DataLake提供Spark作业优先级调度能力,支持在提交Spark作业时通过API指定作业优先级,高优先级作业可优先获得资源调度。

使用须知

  • 作业优先级为可选参数,仅在需要调整优先级时设置。不设置时,作业按默认优先级5提交,不影响原有作业。Spark作业优先级为可选参数,取值范围如下:
    表1 作业优先级

    取值范围

    最高优先级

    最低优先级

    默认值

    1~9的整数

    9

    1

    5

  • 当资源不足时,作业先进入排队队列;待资源充足后,系统按优先级从高到低调度作业,相同优先级的作业按提交时间先后调度。
  • 优先级超出取值范围或设置为非数字时,SparkJob静默回退为默认值5;SparkSQL作业标记为FAILED。

设置作业优先级

当前仅支持通过API的方式设置Spark作业优先级。通过API提交Spark作业时,在spark_config参数中设置作业优先级。Spark Job和Spark SQL使用不同的参数名和API路径,但设置方式相同。API详情请参见:

Spark Job请求示例如下:

POST /v1/endpoints/{endpointId}/spark-jobs

{
  "spark_config": {
    "spark.aidatalake.job.priority": "7"
  }
}

Spark SQL请求示例如下:

POST /v1/endpoints/{endpointId}/spark-sql

{
  "spark_config": {
    "spark.sql.aidatalake.job.priority": "7"
  }
}
表2 参数说明

参数

说明

示例

endpointId

端点ID,即Spark端点的唯一标识。

5b6cfcc9-****-9a24-201f5c59a58c

spark_config

Spark配置参数,以key-value形式传递。通过优先级参数设置作业优先级。

-

spark_config.spark.aidatalake.job.priority

SparkJob作业优先级。

取值范围为1~9的整数,9表示最高优先级,1表示最低优先级,默认为5。

推荐使用低/中/高三档配置以降低复杂度,用户根据场景选择三个具体优先级值作为低/中/高,例如选择1/2/3作为低/中/高档。优先级超出范围或设置为非数字时,静默回退为默认值5。

{"spark_config.spark.aidatalake.job.priority": "7"}

spark_config.spark.sql.aidatalake.job.priority

SparkSQL作业优先级。

取值范围为1~9的整数,9表示最高优先级,1表示最低优先级,默认为5。

推荐使用低/中/高三档配置以降低复杂度,例如选择1/2/3作为低/中/高档时,相邻优先级间资源比约为1:4;选择1/5/9时,高档几乎独占资源。优先级超出范围或设置为非数字时,作业标记为FAILED。

{"spark_config.spark.sql.aidatalake.job.priority": "7"}

不同业务场景建议的优先级取值如下表所示。

表3 典型场景优先级建议

场景

作业类型

建议优先级

说明

夜间批量ETL(Extract Transform Load)

Spark Job

7-9

关键批量作业,需优先获得资源尽快完成。

白天交互式查询

Spark SQL

5(默认)

日常查询,使用默认优先级即可,无需额外设置。

生产vs开发共用端点

Spark SQL

生产9/开发1

生产作业优先抢占资源,开发作业仅使用空闲资源。

临时大查询

Spark SQL

1-3

低优先级执行,不干扰其他高优先级作业。

查看Spark作业优先级

作业提交后,可在AI DataLake管理控制台查看作业的优先级信息。

  1. 登录AI DataLake管理控制台。
  2. 在左侧导航栏,选择"作业运行历史"。
  3. 在作业列表中单击目标作业名称,进入作业运行详情页面。
  4. 在作业详情中查看优先级信息。

相关文档