创建Aura引擎端点
创建Aura端点是用户与AI DataLake引擎服务建立连接的核心操作,作为调用引擎服务的关键步骤,为用户提供了一个安全、稳定的访问入口。
- 一键创建:仅需简单配置端点类型和资源模式,系统自动完成底层资源分配。
- 专属入口:每个端点对应唯一的访问地址,用户可通过该入口直接调用引擎服务。
- 多模态支持:统一入口支持结构化数据、半结构化数据、非结构化数据等多种数据类型的处理与分析。
创建端点
Aura引擎支持配置两种类型的端点,分别适用于不同的使用场景和业务需求。您可以根据场景选择合适的端点类型:
- AuraJobV2:细粒度Actor级算子编排调度,数据处理Pipeline执行,性能和效率极大提升。
- AuraJob:自定义镜像算子,智算、通算混合资源池统一调度,支持Job级弹性。
| 端点类型 | 对应的Aura端点版本 |
|---|---|
| AuraJobV2 | v2.0 |
| AuraJob | v1.0 |
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎 Aura”进入Aura引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置以下参数并单击“立即创建”。
- 请根据界面提示,配置端点基础信息。
表2 端点基础信息说明 参数
参数说明
端点类型
默认选择端点类型为“AuraJob”。
AuraJob用于执行定时调度任务,保障大规模数据稳定处理。
端点版本
选择端点版本,选择“v2.0”。
- v1.0:自定义镜像算子,智算、通算混合资源池统一调度,支持Job级弹性。
- v2.0(推荐):细粒度Actor级算子编排调度,数据处理Pipeline执行,性能和效率极大提升。
端点名称
端点名称是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述
可单击“添加描述”添加端点描述信息。用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
标签
单击“添加标签”,在标签栏输入标签键名称和标签值,用于对端点进行分类、标识和管理,支持快速筛选和分组。
关于标签的更多信息,请参见管理AI DataLake标签。
- 请根据界面提示,配置资源信息。
表3 资源配置说明 参数
参数说明
资源使用模式
选择资源使用模式。
端点资源模式配置为“混合模式”时,系统将触发弹性资源调度。该模式下即视为您授权AI DataLake获取您的任务与资源数据用于特定功能处理,并代表您执行相关操作。
- 预留资源:预留资源通过预留专属计算资源,确保业务所需的计算资源的稳定性,同时获得最优的单价成本。更多信息,请参见资源使用模式:预留资源。
- 混合模式:混合模式结合了预留资源和弹性资源,优先消耗预留资源,高峰期预留资源不足时调度弹性资源组合使用。预留资源保证了业务基线的稳定性,弹性资源的自动调度又具备应对突发负载的弹性能力。更多信息,请参见资源使用模式:混合模式。
选择计算资源池
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,可以单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。
- 请根据界面提示,配置工作组。
工作组是用于配置和管理计算资源的逻辑单元,通常用于定义一组具有相同资源规格和调度策略的计算节点(Worker),以支持特定的计算任务或工作负载。
表4 工作组配置说明 参数
参数说明
名称
系统自动生成工作组名称。您可以按需修改工作组名称。创建端点后不支持再修改工作组名称。
- 工作组名称只能包含字母、数字、中划线,且只能以字母或数字开头和结尾。
- 输入长度不能超过61个字符。
资源规格
在下拉框中选择需要配置的资源规格,支持选择CPU、GPU、NPU资源。
说明:创建AuraJobV2端点时需要安装和运行必要的容器和组件,实际可用资源规格小于选择的资源规格。请您根据作业规模和实际可用资源规格合理选型,避免因资源不足影响作业执行。更多信息,请参见CPU通算资源规格及可用资源规格说明。
每Worker资源配置
在下拉框中选择每个Worker的资源配置。
- CPU资源:在下拉框中选择每个Worker的CPU和内存。
- GPU/NPU资源:在下拉框中选择每个Worker的GPU/NPU卡数、CPU和内存。
Worker数量 (Min-Max)
每个工作组的Worker最大值和最小值。
Worker最小值需小于等于最大值,且需大于0。
镜像
将鼠标悬浮在“镜像”列,单击
,在“预置镜像”或“自定义镜像”页签中选择镜像名称,并勾选镜像版本,单击“确定”。如果当前已有镜像不满足要求,可以参考自定义镜像进行注册后,在此处进行选择。
自定义镜像中可以改变作业的容器运行环境,增强作业的功能、性能。
说明:- 建议您创建镜像快照,提升镜像加载速度。具体操作,请参见镜像加速。
- 镜像快照可将镜像版本的数据预先缓存到本地。创建镜像快照后,容器启动时直接复用快照中的缓存镜像数据,跳过从镜像仓库下载的环节,缩短镜像拉取与容器启动时间,提升作业运行效率。
- 如果当前所选镜像版本已创建镜像快照,选择该版本镜像时会自动关联对应的镜像快照,端点容器启动时自动使用快照创建资源,无需额外操作。
- 若自定义镜像存在新增第三方动态库,可能会由于系统无法获取第三方动态库,导致执行SQL报错,报错信息为‘cannot open shared object file: No such file or directory’,请您联系技术支持获取帮助。
添加工作组
单击“添加工作组”,您可以添加多个工作组配置,但最多可以添加10个工作组。
如果添加工作组错误,您也可以在“操作”列单击“删除”,删除工作组,至少需保留一个工作组。
智算资源复用
如果您选择了GPU或NPU资源,可以按需开启此功能,开启后通算工作组作业能够使用智算工作组空闲的CPU和内存资源。如果仅有GPU或NPU资源,默认开启此功能。
注意:该操作可能会导致智算任务因资源不足而排队。
工作组配置后,即可在页面右侧的资源配额区域查看端点关联资源池后配置的资源规格及Min和Max资源数量。
- 请根据界面提示,配置存储。
表5 存储配置说明 参数
参数说明
选择结果集存储
选择用于存储作业运行过程中的结果缓存和日志文件的OBS并行文件系统,端点创建后不支持修改。
如果没有可用的OBS并行文件系统,可单击“新建OBS并行文件系统”进行创建。具体操作,请参见创建并行文件系统。
说明:结果集存储用于保存作业运行过程中的结果文件,您可以根据结果文件所需的保存时长手动定期清理或者在OBS并行文件系统中通过配置生命周期规则自定义存储时长。具体操作,请参见配置生命周期规则。
选择临时存储资源
选择用于缓存Aura引擎的运行时程序的存储资源,端点创建后不支持修改。
当计算任务需要访问或生成大量数据,且这些数据无法完全由计算节点本地存储或共享存储系统承载时,就需要增加计算资源组外的存储资源。
Aura端点支持用户配置外部的存储资源,用于存储Aura端点运行作业的数据。
在下拉列表中选择存储资源,如果没有可用的存储资源,请单击“购买存储资源”创建。具体操作,请参见购买存储资源。
- 请根据界面提示,配置日志对接LTS。
表6 配置日志对接LTS说明 参数
参数说明
日志对接LTS
按需勾选“日志对接LTS”,如果不对接LTS,则无法查看对应作业的日志,了解更多对接详情请参见使用LTS管理AI DataLake作业日志。
对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。
勾选该参数后,还需配置“日志组”和“日志流”参数。
日志组和日志流
日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流。
云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。
- 如果已存在日志组和日志流:您可以在下拉框中选择日志组和日志流。
- 如果没有日志组和日志流:需要先创建日志组,然后选择日志组。操作如下: 说明:
每个账号下最多可以创建100个日志组。
- 请根据界面提示,按需配置监控对接AOM。
表7 配置监控对接AOM 参数
参数说明
监控对接AOM
按需勾选“监控对接AOM”。
对接AOM后,应用指标统一上报至AOM进行集中管理。您可基于AOM实现实时指标采集、自定义监控、告警配置与运维大盘可视化,全面掌控服务状态。关于各监控指标及含义,请参见Aura端点资源和作业指标。
选择Prometheus实例
在下拉列表选择Prometheus实例,如果没有可选的Prometheus实例,请单击“新建实例”。具体操作,请参见创建Prometheus实例。
- 请根据界面提示,配置端点基础信息。
- 单击“立即创建”,当端点状态变为“运行中”后,即可提交作业到该端点中运行。
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > 多模数据引擎 Aura”,进入Aura引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置参数。
- 请根据界面提示,配置端点基础信息。
表8 端点基础信息说明 参数
参数说明
端点类型
选择端点类型为“AuraJob”。
AuraJob用于执行定时调度任务,保障大规模数据稳定处理。
端点版本
选择端点版本,选择“v1.0”。
- v1.0:自定义镜像算子,智算、通算混合资源池统一调度,支持Job级弹性。
- v2.0:细粒度Actor级算子编排调度,数据处理Pipeline执行,性能和效率极大提升。
端点名称
输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述
单击“添加描述”,添加端点描述信息。用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
标签
单击“添加标签”,在标签栏输入标签键名称和标签值,用于对端点进行分类、标识和管理,支持快速筛选和分组。
关于标签的更多信息,请参见管理AI DataLake标签。
- 请根据界面提示,配置资源信息。
表9 资源配置说明 参数
参数说明
资源使用模式
选择资源使用模式。
端点资源模式配置为“混合模式”时,系统将触发弹性资源调度。该模式下即视为您授权AI DataLake获取您的任务与资源数据用于特定功能处理,并代表您执行相关操作。
- 预留资源:预留资源通过预留专属计算资源,确保业务所需的计算资源的稳定性,同时获得最优的单价成本。更多信息,请参见资源使用模式:预留资源。
- 混合模式:混合模式结合了预留资源和弹性资源,优先消耗预留资源,高峰期预留资源不足时调度弹性资源组合使用。预留资源保证了业务基线的稳定性,弹性资源的自动调度又具备应对突发负载的弹性能力。更多信息,请参见资源使用模式:混合模式。
选择计算资源池
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,可以单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。
- 请根据界面提示,配置资源规格。
- 请根据界面提示,配置存储。
表11 存储配置说明 参数
参数说明
存储配置
按需勾选“存储配置”,勾选后即可使用配置的存储资源存储业务数据,并能实现作业之间的数据共享,否则只能使用CCE容器自带的磁盘存储数据,无法实现数据共享。
勾选该参数后,还需配置“选择临时存储资源”和“挂载目录”参数。
选择临时存储资源
在下拉框中选择已购买的临时存储资源,端点创建后不支持修改。
如果没有可用的存储资源,请单击“购买临时存储”。具体操作,请参见购买存储资源。
挂载目录
配置AuraJob端点运行作业Pod中挂载存储文件所在的路径。
- 请根据界面提示,配置日志对接LTS。
表12 配置日志对接LTS说明 参数
参数说明
日志对接LTS
按需勾选“日志对接LTS”,如果不对接LTS,则无法查看对应作业的日志,了解更多对接详情请参见使用LTS管理AI DataLake作业日志。
对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。
勾选该参数后,还需配置“日志组”和“日志流”参数。
日志组和日志流
日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流。
云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。
- 如果已存在日志组和日志流:您可以在下拉框中选择日志组和日志流。
- 如果没有日志组和日志流:需要先创建日志组,然后选择日志组。操作如下: 说明:
每个账号下最多可以创建100个日志组。
- 请根据界面提示,按需配置监控对接AOM。
表13 配置监控对接AOM 参数
参数说明
监控对接AOM
按需勾选“监控对接AOM”。
对接AOM后,应用指标统一上报至AOM进行集中管理。您可基于AOM实现实时指标采集、自定义监控、告警配置与运维大盘可视化,全面掌控服务状态。关于各监控指标及含义,请参见Aura端点资源和作业指标。
选择Prometheus实例
在下拉列表选择Prometheus实例,如果没有可选的Prometheus实例,请单击“新建实例”。具体操作,请参见创建Prometheus实例。
- 请根据界面提示,配置端点基础信息。
- 单击“立即创建”,当端点状态变为“运行中”后,即可提交作业到该端点中运行。
