设置Aura作业优先级
在实际业务运行中,不同作业的重要程度和紧急程度不同,部分关键作业需要优先获得计算资源以保障正常运行。AI DataLake提供Aura作业优先级调度能力,支持在提交作业时指定作业优先级。
不同端点的作业设置方法不同,具体如表1所示。
| 端点类型 | 设置方法 | 操作指导 |
|---|---|---|
| AuraJobV2 | 当前仅支持通过API方式设置作业优先级,控制台暂不支持。您可在创建session的API请求参数priority中指定作业优先级。 | |
| AuraJob | 使用DataArts Studio进行AuraJob作业开发,在创建或编辑作业时设置“任务优先级”参数,用于控制作业在AI DataLake中的调度优先级。 |
使用须知
- Aura作业优先级为可选参数,取值范围如下:
表2 作业优先级 作业类型
取值范围
最高优先级
最低优先级
默认值
AuraJobV2
1~9 的整数
9
1
5
AuraJob
0~9 的整数
9
0
0
- 作业优先级为可选参数,仅在需要调整优先级时设置。不设置时,作业按默认优先级提交,不影响原有作业。
- 当资源不足时,作业先进入排队队列;待资源充足后,系统按优先级从高到低调度作业,相同优先级的作业按提交时间先后调度。
设置AuraJobV2作业优先级
通过API创建Session时,指定priority参数设置作业优先级。
API请求示例如下:
POST /v2/workspaces/{workspace_id}/aura-sessions
{
"endpoint_name" : "aura-job-zgg",
"priority" : "9",
"wait_timeout" : "86400",
"max_retry_times" : "5",
"lake_formation_config" : {
"catalog" : "catalogName"
}
} 参数说明如表3所示。
设置AuraJob作业优先级
使用DataArts Studio进行AuraJob作业开发,在创建或编辑作业时设置“任务优先级”参数,用于控制作业在AI DataLake中的调度优先级。完整的AuraJob作业开发及参数配置流程,请参见基于用户自定义镜像的多模数据处理。
查看作业优先级
作业提交后,可在AI DataLake管理控制台查看作业的优先级信息。
- 登录AI DataLake管理控制台。
- 在左侧导航栏,选择“作业运行历史”。
- 在作业列表中单击目标作业名称,进入作业运行详情页面。
- 在作业详情中查看“作业优先级”。
相关操作
- 使用API在指定Session中执行SQL。具体操作,请参见在指定Session中执行SQL - ExecuteAuraV2SqlStatement。
- 您可以通过API查看会话的详情信息。具体API,请参见查看Session详情 - ShowAuraV2SqlSession。
- 如果不再需要某个会话,可以关闭会话,及时释放资源。具体API,请参见关闭Session - CloseAuraV2SqlSession。