创建Aura引擎端点
操作场景
创建Aura端点是用户与AI DataLake引擎服务建立连接的核心操作,作为调用引擎服务的关键步骤,为用户提供了一个安全、稳定的访问入口。
- 一键创建:仅需简单配置端点类型和资源模式,系统自动完成底层资源分配。
- 专属入口:每个端点对应唯一的访问地址,用户可通过该入口直接调用引擎服务。
- 多模态支持:统一入口支持结构化数据、半结构化数据、非结构化数据等多种数据类型的处理与分析。
创建Aura v1.0版本引擎端点
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”进入Aura引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置以下参数并单击“立即创建”。
表1 创建Aura引擎端点 参数
参数说明
端点类型
选择端点类型为“AuraJob”。
AuraJob用于执行定时调度任务,保障大规模数据稳定处理。
端点版本
选择端点版本,选择“v1.0”。
- v1.0:自定义镜像算子,智算、通算混合资源池统一调度,支持Job级弹性。
- v2.0(推荐):细粒度Actor级算子编排调度,数据处理Pipeline执行,性能和效率极大提升。
端点名称
输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述
可单击“添加描述”添加端点描述信息。用于详细说明端点的用途、用途背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
资源使用模式
选择资源使用模式。
- 预留资源:预留资源通过预留专属计算资源,确保业务所需的计算资源的稳定性,同时获得最优的单价成本。详细介绍请参见资源使用模式:预留模式。
- 混合模式:混合模式结合了预留资源和弹性资源,优先消耗预留资源,高峰期预留资源不足时调度弹性资源组合使用。预留资源保证了业务基线的稳定性,弹性资源的自动调度又具备应对突发负载的弹性能力。详细介绍请参见资源使用模式:混合模式。
选择资源池
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,可以单击“购买资源池”进行购买。
规格配置
选择对应的资源规格并配置资源数量。
- 资源规格:在下拉框中选择需要配置的资源规格,支持选择CPU、GPU、NPU资源。
- 数量 (Min-Max):配置资源池分配给当前端点的最低可用资源和资源上限。
可单击“添加规格”添加多个规格配置,也可单击“删除”删除配置,至少需保留一个规格配置。
说明:规格配置后,即可在页面右侧的资源配额区域查看端点关联资源池后配置的资源规格及Min和Max资源数量。
存储配置
是否开启存储配置,开启后即可使用配置的存储资源存储业务数据,并能实现作业之间的数据共享,否则只能使用CCE容器自带的磁盘存储数据,无法实现数据共享。
选择临时存储资源
选择用于缓存Aura引擎的运行时程序的存储资源,端点创建后不支持修改。
资源规格负责执行计算任务,而存储资源则用于持久化数据、中间结果或模型文件等。当计算任务需要访问或生成大量数据,且这些数据无法完全由计算节点本地存储或共享存储系统承载时,就需要增加计算资源组外的存储资源。
Aura端点的配置允许用户配置外部的存储资源,用于存储Aura端点运行作业的数据。
当计算任务涉及大规模数据、需要数据共享、长期存储、跨环境访问或希望实现存储与计算解耦时,就需要增加计算资源组外的存储资源。
配置存储资源时,请先参考购买存储资源购买存储资源,然后在创建端点时选择已购买的SFS Turbo存储资源。
如果没有可用的存储资源可单击“购买临时存储”进行创建,详细操作请参见购买存储资源。
挂载目录
配置Aura Job端点运行作业Pod中挂载存储文件所在的路径。
日志对接LTS
是否对接LTS,如果不对接LTS,则无法查看对应作业的日志,了解更多对接详情请参见使用LTS管理AI DataLake作业日志。
对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。
勾选该参数后,还需配置“日志组”和“日志流”参数。
日志组
在下拉框中选择日志组,如果下拉框中没有可选的日志组,可以单击“创建日志组”,在右侧弹框中参考表2配置相关参数后,单击“确定”创建日志组。
日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流,每个账号下可以创建100个日志组。
日志流
在下拉框中选择日志流,如果下拉框中没有可选的日志流,可以单击“创建日志流”,在右侧弹框中参考表3配置相关参数后,单击“确定”创建日志流。
云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。
表2 创建日志组 参数
参数说明
日志组名称
输入日志组名称,只能包含英文字母、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾,不能与其他日志组名称或原始名称相同。
日志流名称
输入日志流名称,只能包含英文字母、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。
日志存储时间(天)
设置日志存储时间。
日志数据默认存储30天,取值范围为1~30天,超出存储时间的日志将会被自动化删除,可以按需将日志数据转储至OBS桶中长期保存。创建日志组免费,使用阶段按照日志量收费。
企业项目
选择企业项目。
标签管理
单击“添加标签”添加标签,并设置标签键值。
- 端点创建后,可在列表中查看相关信息,端点状态变为“运行中”后即可提交作业到该端点中运行。
创建Aura v2.0版本引擎端点
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎Aura”进入Aura引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置以下参数并单击“立即创建”。
- 请根据界面提示,配置端点基本信息。
表4 端点基本信息说明 参数
参数说明
端点类型
选择端点类型为“AuraJob”。
AuraJob用于执行定时调度任务,保障大规模数据稳定处理。
端点版本
选择端点版本,选择“v2.0”。
- v1.0:自定义镜像算子,智算、通算混合资源池统一调度,支持Job级弹性。
- v2.0(推荐):细粒度Actor级算子编排调度,数据处理Pipeline执行,性能和效率极大提升。
端点名称
端点名称是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述
可单击“添加描述”添加端点描述信息。用于详细说明端点的用途、用途背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
- 请根据界面提示,配置资源信息。
表5 资源配置说明 参数
参数说明
资源使用模式
选择资源使用模式。
- 预留资源:预留资源通过预留专属计算资源,确保业务所需的计算资源的稳定性,同时获得最优的单价成本。详细介绍请参见资源使用模式:预留模式。
- 混合模式:混合模式结合了预留资源和弹性资源,优先消耗预留资源,高峰期预留资源不足时调度弹性资源组合使用。预留资源保证了业务基线的稳定性,弹性资源的自动调度又具备应对突发负载的弹性能力。详细介绍请参见资源使用模式:混合模式。
选择资源池
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,可以单击“购买资源池”进行购买。
- 请根据界面提示,配置工作组。 工作组是用于配置和管理计算资源的逻辑单元,通常用于定义一组具有相同资源规格和调度策略的计算节点(Worker),以支持特定的计算任务或工作负载。
表6 工作组配置说明 参数
参数说明
资源规格
在下拉框中选择需要配置的资源规格,支持选择CPU、GPU、NPU资源。
说明:不支持NPU单独调度,需增加CPU资源配置。
每Worker卡数
配置Worker卡数。分配了GPU/NPU资源的每个Worker的GPU/NPU卡数。
说明:只有GPU和NPU场景可以配置卡数,CPU场景不支持配置。
每Worker CPU及内存
配置Worker CPU和内存,仅CPU资源支持配置。
Worker 数量 (Min-Max)
每个工作组的Worker最大值和最小值。- 预留资源:Worker最小值需与最大值相同,且需大于0。
- 混合模式:Worker最小值需小于等于最大值,且需大于0。
添加工作组
单击“添加工作组”,可以添加多个工作组配置,但最多可以添加10个工作组。您也可以单击“删除”,删除工作组,至少需保留一个工作组。
工作组配置后,即可在页面右侧的资源配额区域查看端点关联资源池后配置的资源规格及Min和Max资源数量。
- 请根据界面提示,配置存储。
表7 存储配置说明 参数
参数说明
选择OBS桶
选择用于存储作业运行过程中的结果缓存和日志文件的OBS桶,端点创建后不支持修改。
如果没有可用的OBS桶,可单击“新建OBS”进行创建。具体操作,请参见创建并行文件系统。
- 请根据界面提示,配置日志对接LTS。
对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。
关于使用LTS管理AI DataLake作业日志的更多信息,请参见使用LTS管理AI DataLake作业日志。表8 创建日志流 参数
参数说明
日志组名称
日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流,
您可以在下拉框中选择日志组,如果下拉框中没有可选的日志组,可以单击“创建日志组”。具体操作,请参见创建日志组。
日志流
云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。
您可以在下拉框中选择日志流,如果下拉框中没有可选的日志流,可以单击“创建日志流”。具体操作,请参见创建日志流。
- 请根据界面提示,配置端点基本信息。
- 端点创建后,可在列表中查看相关信息,端点状态变为“运行中”后即可提交作业到该端点中运行。
后续操作
Aura端点创建完成后,即可在DataArts Studio作业开发页面提交一个单任务Shell或Pipeline类型的AI DataLake作业至端点运行,详细操作请参见作业开发。