设置Spark作业优先级
在实际业务运行中,不同作业的重要程度和紧急程度不同,部分关键作业需要优先获得计算资源以保障正常运行。AI DataLake提供Spark作业优先级调度能力,支持在提交Spark作业时通过API指定作业优先级,高优先级作业可优先获得资源调度。
使用须知
- 作业优先级为可选参数,仅在需要调整优先级时设置。不设置时,作业按默认优先级5提交,不影响原有作业。Spark作业优先级为可选参数,取值范围如下:
表1 作业优先级 取值范围
最高优先级
最低优先级
默认值
1~9的整数
9
1
5
- 当资源不足时,作业先进入排队队列;待资源充足后,系统按优先级从高到低调度作业,相同优先级的作业按提交时间先后调度。
- 优先级超出取值范围或设置为非数字时,SparkJob静默回退为默认值5;SparkSQL作业标记为FAILED。
设置作业优先级
当前仅支持通过API的方式设置Spark作业优先级。通过API提交Spark作业时,在spark_config参数中设置作业优先级。Spark Job和Spark SQL使用不同的参数名和API路径,但设置方式相同。API详情请参见:
Spark Job请求示例如下:
POST /v1/endpoints/{endpointId}/spark-jobs
{
"spark_config": {
"spark.aidatalake.job.priority": "7"
}
} Spark SQL请求示例如下:
POST /v1/endpoints/{endpointId}/spark-sql
{
"spark_config": {
"spark.sql.aidatalake.job.priority": "7"
}
} | 参数 | 说明 | 示例 |
|---|---|---|
| endpointId | 端点ID,即Spark端点的唯一标识。 | 5b6cfcc9-****-9a24-201f5c59a58c |
| spark_config | Spark配置参数,以key-value形式传递。通过优先级参数设置作业优先级。 | - |
| spark_config.spark.aidatalake.job.priority | SparkJob作业优先级。 取值范围为1~9的整数,9表示最高优先级,1表示最低优先级,默认为5。 推荐使用低/中/高三档配置以降低复杂度,用户根据场景选择三个具体优先级值作为低/中/高,例如选择1/2/3作为低/中/高档。优先级超出范围或设置为非数字时,静默回退为默认值5。 | {"spark_config.spark.aidatalake.job.priority": "7"} |
| spark_config.spark.sql.aidatalake.job.priority | SparkSQL作业优先级。 取值范围为1~9的整数,9表示最高优先级,1表示最低优先级,默认为5。 推荐使用低/中/高三档配置以降低复杂度,例如选择1/2/3作为低/中/高档时,相邻优先级间资源比约为1:4;选择1/5/9时,高档几乎独占资源。优先级超出范围或设置为非数字时,作业标记为FAILED。 | {"spark_config.spark.sql.aidatalake.job.priority": "7"} |
不同业务场景建议的优先级取值如下表所示。
| 场景 | 作业类型 | 建议优先级 | 说明 |
|---|---|---|---|
| 夜间批量ETL(Extract Transform Load) | Spark Job | 7-9 | 关键批量作业,需优先获得资源尽快完成。 |
| 白天交互式查询 | Spark SQL | 5(默认) | 日常查询,使用默认优先级即可,无需额外设置。 |
| 生产vs开发共用端点 | Spark SQL | 生产9/开发1 | 生产作业优先抢占资源,开发作业仅使用空闲资源。 |
| 临时大查询 | Spark SQL | 1-3 | 低优先级执行,不干扰其他高优先级作业。 |
查看Spark作业优先级
作业提交后,可在AI DataLake管理控制台查看作业的优先级信息。
- 登录AI DataLake管理控制台。
- 在左侧导航栏,选择"作业运行历史"。
- 在作业列表中单击目标作业名称,进入作业运行详情页面。
- 在作业详情中查看优先级信息。