管理Aura引擎端点
Aura端点创建成功后,可在端点列表查看详细信息,也可以修改或删除端点。
查看AuraJobV2端点详情
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”进入Aura引擎端点列表页面,即可查看已创建的端点信息。
主要参数说明如表1所示。
- 单击端点显示名称,进入端点概览页面,关键参数说明如表2所示。
表2 端点概览信息 类别
参数
参数说明
基本信息
端点显示名称
已创建的端点的显示名称,可单击修改按钮进行修改。
端点类型
Aura端点类型。
资源使用模式
端点的资源使用模式。
创建时间
创建端点的时间。
端点名称
已创建的端点名称。
描述
端点的描述信息。
资源池
端点所属的资源池名称。
创建人
创建端点的用户。
端点ID
端点的ID。
存储配置
OBS桶
用于存储作业运行过程中的结果缓存和日志文件的OBS桶名称。
日志路径
用于存储作业运行过程中的日志文件的OBS路径。
缓存路径
用于存储作业运行过程中的结果缓存文件的OBS路径。
日志对接LTS(仅创建Aura端点时开启“日志对接LTS”功能后才显示)
日志组
对接LTS后,存储日志的日志组ID。可单击日志组ID跳转至LTS服务的日志管理页面,执行相关管理操作。
日志流
对接LTS后,存储日志的日志流ID。可单击日志流ID跳转至LTS服务的日志流详细信息页面。
- 单击“工作组”页签,查看端点的相关配置信息,包括工作组名称、资源规格、每Worker卡数、每Worker CPU及内存、Worker数量及镜像信息。
- 单击“作业运行历史”,在列表中查看端点运行的作业信息。
表3 作业运行历史信息 参数
参数说明
作业ID
运行的作业ID。
会话ID
SQL会话的ID。
状态
作业的运行状态。
- 运行成功:作业运行成功。
- 运行失败:作业运行失败。
- 运行中:正在运行作业。
- 已取消:作业已取消运行。
- 已提交:作业提交成功。
- 异常:作业执行异常。
数据库名称
提交作业时指定的该Aura端点所绑定的资源池对接的LakeFormation中的Catalog名称。
作业 SQL
作业执行的SQL语句或UDF语句。
提交时间
提交作业的时间。
执行时间
作业开始执行的时间。
运行时长
作业运行时长。
提交人
提交作业的用户名称。
操作
单击“查看详情”,可查看作业运行详情,详细介绍请参见表4。
表4 作业运行详情 参数
参数说明
作业ID
运行的作业ID。
数据库名称
提交作业时指定的该Aura端点所绑定的资源池对接的LakeFormation中的Catalog名称。
端点名称
Aura端点名称。
端点显示名称
Aura端点的显示名称。
端点ID
Aura端点的ID。
运行状态
作业的运行状态。
- 运行成功:作业运行成功。
- 运行失败:作业运行失败。
- 运行中:正在运行作业。
- 创建中:正在创建作业。
- 停止中:正在停止作业。
- 待处理:作业正在排队中。
- 已停止:作业停止成功。
作业版本
作业版本。
创建时间
创建作业的时间。
执行时间
运行作业的时间。
运行时长
作业的运行时长。
结束时间
作业运行完成的时间。
创建人
创建作业的用户名称。
日志组ID
对接LTS后,存储日志的日志组ID。
日志流ID
对接LTS后,存储日志的日志流ID。
作业SQL
作业执行的SQL语句或UDF语句。
- 单击“会话管理”页签,查看会话的详细信息。具体请参见会话管理。
- 单击“监控”页签,查看Aura端点的资源监控信息。详细信息,请参见查看Aura端点监控。
查看AuraJob端点详情
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”进入Aura引擎端点列表页面,即可查看已创建的端点信息。
主要参数说明如表5所示。
- 单击端点显示名称,进入端点概览页面,关键参数说明如表6所示。
表6 端点概览信息 类别
参数
参数说明
基本信息
端点显示名称
已创建的端点的显示名称。可单击
,修改端点显示名称。端点类型
Aura端点类型。
资源使用模式
端点的资源使用模式。
创建时间
创建端点的时间。
端点名称
已创建的端点名称。
描述
端点的描述信息。
资源池
端点所属的资源池名称。
创建人
创建端点的用户。
端点ID
端点的ID。
存储配置
临时存储
用于缓存Aura引擎的运行时程序的存储资源名称。
挂载目录
Aura Job端点运行作业Pod中挂载存储文件所在的路径。
日志对接LTS(仅创建Aura端点时开启“日志对接LTS”功能后才显示)
日志组
对接LTS后,存储日志的日志组ID。可单击日志组ID跳转至LTS服务的日志管理页面,执行相关管理操作。
日志流
对接LTS后,存储日志的日志流ID。可单击日志流ID跳转至LTS服务的日志流详细信息页面。
- 单击“规格配置”页签,查看端点的资源规格及分配的最大值和最小值。
- 如果正在运行的作业的资源大于等于该规格的最大值且小于等于最大值的2倍,则提交的作业的状态为待处理,后续部分作业运行完成后释放的资源满足该作业运行的资源需求即可正常运行。
- 如果正在运行的作业的资源大于最大值的2倍,则再提交作业会失败。
- 单击“作业运行历史”页签,在列表中查看端点运行的作业信息。
表7 作业运行历史信息 参数
参数说明
作业名称/ID
运行的作业名称和作业ID。
状态
作业的运行状态。
- 运行成功:作业运行成功。
- 运行失败:作业运行失败。
- 运行中:正在运行作业。
- 创建中:正在创建作业。
- 停止中:正在停止作业。
- 待处理:作业正在排队中。
- 已停止:作业停止成功。
提交时间
提交作业的时间。
执行时间
作业开始执行的时间。
运行时长
作业运行时长。
提交人
提交作业的用户名称。
操作
单击“查看详情”,可查看作业运行详情。更多信息,请参见表8。
表8 作业运行详情 参数
参数说明
作业名称
运行的作业名称。
作业ID
运行的作业ID。
端点名称
Aura端点名称。
端点显示名称
Aura端点的显示名称。
端点ID
Aura端点的ID。
运行状态
作业的运行状态。
- 运行成功:作业运行成功。
- 运行失败:作业运行失败。
- 运行中:正在运行作业。
- 创建中:正在创建作业。
- 停止中:正在停止作业。
- 待处理:作业正在排队中。
- 已停止:作业停止成功。
作业版本
作业版本。
创建时间
创建作业的时间。
执行时间
运行作业的时间。
运行时长
作业的运行时长。
结束时间
作业运行完成的时间。
创建人
创建作业的用户名称。
日志组ID
对接LTS后,存储日志的日志组ID。
日志流ID
对接LTS后,存储日志的日志流ID。
作业参数
作业参数中的“env”相关内容为环境变量,显示时进行了脱敏处理,脱敏匹配词包括pwd、passwd、password、token、sk、truststore、secretkey、access_key、ak,不区分大小写。
为了防止敏感信息被暴露,请在提交环境变量时将敏感信息的环境变量配置为包含白名单的词汇。例如,在提交和sk相关参数时可以配置为service-sk、nsk等。
- 单击“监控”页签,查看Aura端点的资源监控信息。详细信息,请参见查看Aura端点监控。
修改/删除Aura引擎端点
在工作组配置中修改Worker数量进行缩容、修改镜像、强制删除端点等会触发缩容场景,执行业务中的端点会先停机,可能会导致执行中的作业任务中断。您可以提交工单修改停机时间,确保作业任务执行时间小于停机时间,作业任务可以正常结束并退出。
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”进入Aura引擎端点列表页面,即可查看已创建的端点。
