# 设置Spark作业优先级
在实际业务运行中，不同作业的重要程度和紧急程度不同，部分关键作业需要优先获得计算资源以保障正常运行。AI DataLake提供Spark作业优先级调度能力，支持在提交Spark作业时通过API指定作业优先级，高优先级作业可优先获得资源调度。
#### 使用须知
- 作业优先级为可选参数，仅在需要调整优先级时设置。不设置时，作业按默认优先级5提交，不影响原有作业。Spark作业优先级为可选参数，取值范围如下：
  表1作业优先级 
  | 取值范围  | 最高优先级 | 最低优先级 | 默认值 |
  |:---|:---|:---|:---|
  | 1\~9的整数 | 9    | 1     | 5  |
     
  
- 当资源不足时，作业先进入排队队列；待资源充足后，系统按优先级从高到低调度作业，相同优先级的作业按提交时间先后调度。
- 优先级超出取值范围或设置为非数字时，SparkJob静默回退为默认值5；SparkSQL作业标记为FAILED。
 
#### 设置作业优先级
当前仅支持通过API的方式设置Spark作业优先级。通过API提交Spark作业时，在spark_config参数中设置作业优先级。Spark Job和Spark SQL使用不同的参数名和API路径，但设置方式相同。API详情请参见：
- [执行SparkSql作业 - RunSparkSql](https://support.huaweicloud.com/api-aidatalake/RunSparkSql.html)
- [启动Spark作业 - RunSparkJob](https://support.huaweicloud.com/api-aidatalake/RunSparkJob.html)
Spark Job请求示例如下：
```
POST /v1/endpoints/{endpointId}/spark-jobs
{
  "spark_config": {
    "spark.aidatalake.job.priority": "7"
  }
}
```
Spark SQL请求示例如下：
```
POST /v1/endpoints/{endpointId}/spark-sql
{
  "spark_config": {
    "spark.sql.aidatalake.job.priority": "7"
  }
}
```
表2参数说明 
| 参数                                              | 说明                                                                                                                                                                                                                                 | 示例                                                      |
|:---|:---|:---|
| endpointId                                        | 端点ID，即Spark端点的唯一标识。                                                                                                                                                                                                                | 5b6cfcc9-\*\*\*\*-9a24-201f5c59a58c                    |
| spark_config                                    | Spark配置参数，以key-value形式传递。通过优先级参数设置作业优先级。                                                                                                                                                                                           | -                                                        |
| spark_config.spark.aidatalake.job.priority       | SparkJob作业优先级。 取值范围为1\~9的整数，9表示最高优先级，1表示最低优先级，默认为5。 推荐使用低/中/高三档配置以降低复杂度，用户根据场景选择三个具体优先级值作为低/中/高，例如选择1/2/3作为低/中/高档。优先级超出范围或设置为非数字时，静默回退为默认值5。                | {"spark_config.spark.aidatalake.job.priority": "7"}      |
| spark_config.spark.sql.aidatalake.job.priority | SparkSQL作业优先级。 取值范围为1\~9的整数，9表示最高优先级，1表示最低优先级，默认为5。 推荐使用低/中/高三档配置以降低复杂度，例如选择1/2/3作为低/中/高档时，相邻优先级间资源比约为1:4；选择1/5/9时，高档几乎独占资源。优先级超出范围或设置为非数字时，作业标记为FAILED。 | {"spark_config.spark.sql.aidatalake.job.priority": "7"} |
   
不同业务场景建议的优先级取值如下表所示。
表3典型场景优先级建议 
| 场景                                | 作业类型       | 建议优先级   | 说明                     |
|:---|:---|:---|:---|
| 夜间批量ETL（Extract Transform Load） | Spark Job  | 7-9     | 关键批量作业，需优先获得资源尽快完成。   |
| 白天交互式查询                        | Spark SQL | 5（默认）   | 日常查询，使用默认优先级即可，无需额外设置。 |
| 生产vs开发共用端点                     | Spark SQL  | 生产9/开发1 | 生产作业优先抢占资源，开发作业仅使用空闲资源。 |
| 临时大查询                           | Spark SQL   | 1-3  | 低优先级执行，不干扰其他高优先级作业。     |
   
#### 查看Spark作业优先级
作业提交后，可在AI DataLake管理控制台查看作业的优先级信息。
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在左侧导航栏，选择"作业运行历史"。
3. 在作业列表中单击目标作业名称，进入作业运行详情页面。
4. 在作业详情中查看优先级信息。
 
