创建Ray引擎端点
创建Ray端点是用户与AI DataLake引擎服务建立连接的核心操作。通过Ray端点,您可以与AI DataLake引擎进行交互,执行各种数据处理和分析任务。本节操作介绍创建Ray引擎端点的操作步骤。
不同的端点类型配置的参数不同。
| 端点类型 | 说明 | 相关链接 |
|---|---|---|
| RayCluster | RayCluster端点提供长期运行、可复用的“计算资源池”,可多次提交Ray作业,适用于需要反复交互、多任务共享常驻环境的场景。 | |
| RayJob | RayJob端点提供按需启动、用完即销毁的“任务执行单元”,任务完成后自动释放资源,节省资源成本,但每次提交任务需要启动集群,存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。 |
创建RayCluster端点
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > AI 计算引擎 Ray”,进入Ray引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置以下参数并单击“立即创建”。
- 基础信息配置。
表2 基础信息配置说明 参数
参数说明
端点类型
选择端点类型为“RayCluster”。
RayCluster端点提供长期运行、可复用的“计算资源池”,可多次提交Ray作业,适用于需要反复交互、多任务共享常驻环境的场景。
端点名称
输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述(可选)
可单击“添加描述”添加端点描述信息。
用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
- 资源配置。
表3 资源配置说明 参数
参数说明
资源使用模式
选择资源使用模式。
预留资源:使用预留资源池,资源独享。适合负载稳定、持续运行的业务场景,如生产项目、关键任务。
选择计算资源池
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,可以单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。
- 集群配置。 配置端点时需要配置计算集群的Head和Workergroups。
表4 集群配置说明 参数
参数说明
Head
Head(主节点)负责集群的初始化和引导,维护所有Worker节点的元数据信息。同时Head节点实时监控整个集群的资源状态(包括CPU、GPU、内存等),基于全局资源视图进行智能调度决策,将计算任务合理分配到最合适的Worker节点上执行,从而实现负载均衡,提升资源利用率。
- 名称:用于标识主节点的名称,系统固定为“Head”。
- 资源规格:从下拉框中选择主节点所使用的计算资源规格。
- 卡数:自定义GPU/NPU卡数,CPU资源不支持输入卡数。
- CPU及内存:配置主节点上运行的辅助Worker进程的CPU和内存。
Workergroups
Worker节点负责接收来自Head节点的任务并进行实际的计算处理。通过配置多个Worker节点,可以将大规模计算任务分解成多个子任务并行处理,显著提升计算效率。支持配置最小和最大Worker数量,可以根据任务负载动态调整计算资源,实现资源的高效利用。
- 名称:用于标识工作节点组的名称,如“Workergroup01”,按需增加,便于管理和区分多个节点组。
- 资源规格:选择该工作节点组所使用的计算资源规格。
- 每Worker卡数:自定义GPU/NPU卡数,CPU资源不支持输入卡数。
- 每Worker CPU及内存:配置每个工作节点的CPU核心数(vCPU)和内存大小(GiB),用于任务执行。
- Worker数量(Min-Max):设置该工作节点组中Worker节点的最小和最大数量,支持弹性伸缩。例如:0-3 表示可动态扩展0到3个Worker节点,适用于按需调度。
- 添加和删除Workergroup:如果需要多个Workergroup,单击“添加Workergroup”,每个端点最多可配置10个Workergroup。如果不需要某个Workergroup,单击“操作”列的“删除”。
说明:规格配置后,即可在页面右侧的资源配额区域查看端点关联资源池后配置的资源规格及Min和Max资源数量。
- 镜像配置。
表5 镜像配置说明 参数
参数说明
镜像配置
单击
,在“预置镜像”或“自定义镜像”页签中选择镜像名称,并勾选镜像版本,单击“确定”。如果当前已有镜像不满足要求,请参考注册自定义镜像注册后,在此处进行选择。
自定义镜像中可以改变作业的容器运行环境,增强作业的功能、性能。
- 存储配置。 当计算任务需要访问或生成大量数据,且这些数据无法完全由计算节点本地存储或共享存储系统承载时,您可以增加外部存储资源。
表6 存储配置说明 参数
参数说明
选择临时存储
Ray端点的配置允许用户配置外部的存储资源,用于存储Ray集群的Head和多个Worker的数据。
当计算任务涉及大规模数据、需要数据共享、长期存储、跨环境访问或希望实现存储与计算解耦时,就需要增加外部存储资源。
在下拉框中选择临时存储,如果没有临时存储,请单击“购买临时存储”。具体操作,请参见购买存储资源。
存储路径
存储卷(Volume)内的物理子目录。
挂载路径
容器内的绝对路径。
添加临时存储
如果需要添加多个临时存储,请单击“添加临时存储”,每个端点最多可配置10个临时存储。
- 基础信息配置。
- 端点创建后,可在列表中查看相关信息,当端点状态变为“运行中”后,即可提交作业到该端点中运行。
创建RayJob端点
- 登录AI DataLake管理控制台。
- 在页面左上角切换至对应的工作空间。
- 在左侧导航栏选择“引擎端点 > AI 计算引擎 Ray”,进入Ray引擎端点列表页面。
- 单击页面右上角的“创建端点”,配置参数。
- 基础信息配置。
表7 基础信息配置说明 参数
参数说明
端点类型
选择端点类型为“RayJob”。
RayJob端点提供按需启动、用完即销毁的“任务执行单元”,任务完成后自动释放资源,节省资源成本,但每次提交任务需要启动集群,存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。
端点名称
输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。
- 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
- 输入长度不能超过63个字符。
端点显示名称
输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。
- 名称只能包含中文、英文、数字、中划线。
- 输入长度不能超过63个字符。
添加描述(可选)
单击“添加描述”,添加端点描述信息。
用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。
- 资源配置。
表8 资源配置说明 参数
参数说明
资源使用模式
选择资源使用模式。
- 预留资源:使用预留资源池,资源独享。适合负载稳定、持续运行的业务场景,如生产项目、关键任务。
- 混合模式:基线保障,自动扩容。优先消耗预留资源,高峰期自动触发弹性扩容(当前仅支持CPU资源扩容)。适用于有规律波动的业务。
- 按需弹性:按任务实际运行时长扣费,无任务不产生费用。适合短期或偶发性的业务需求,如开发测试或临时任务。 说明:
一个用户只能创建一个按需弹性作业端点。
选择计算资源池
仅资源使用模式选择“预留资源”和“混合模式”时,配置此参数。
在下拉框中选择已创建的资源池。如果下拉框中没有可选的资源池,请单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。
资源配额最大值
仅资源使用模式选择“按需弹性”时,需要配置此参数。
设置端点可占用的CPU资源上限,确保系统资源稳定并防止异常任务耗尽集群算力,节省成本。
- 规格配置。 仅资源使用模式选择“预留资源”和“混合模式”时,配置此参数。
表9 规格配置说明 参数
参数说明
资源规格
在下拉框中选择需要配置的资源规格,支持选择CPU、GPU、NPU资源。
资源配额 (Min-Max)
配置资源池分配给当前端点的最低可用资源和资源上限。
- Min值默认置灰,不能配置。
- Max值需大于0,但不能超过所选计算资源池的资源上限。
添加规格
您可以单击“添加规格”添加多个规格配置,最多支持添加10个。
如果不需要某个规格配置,请在“操作”列单击“删除”,但至少需保留一个规格配置。
规格配置后,即可在页面右侧的“资源配额”区域,查看端点关联资源池后配置的资源规格及Min和Max资源数量。
- 委托配置。
表10 委托配置说明 参数
参数说明
委托配置
自定义配置其他云服务的委托权限给RayJob端点,在作业运行时自动换取凭证并刷新至Ray集群。用户可在Ray集群中使用该委托凭证调用对应服务。
您需要先勾选“委托配置”,并选择委托名。如果没有可选的委托,请单击“新建委托”。具体操作,请参见配置AI DataLake访问其他云服务的委托权限。
- 基础信息配置。
- 单击“立即创建”,端点创建后,可在列表中查看相关信息,当端点状态变为“运行中”,即可提交作业到该端点中运行。
后续操作
创建Ray引擎端点后,您可以按需执行以下操作:
- 管理Ray引擎端点:您可以查看端点的详细信息,也可以编辑或删除端点。具体操作,请参见管理Ray引擎端点。
- 提交作业:使用DataArts Studio开发AI DataLake作业。具体操作,请参见使用DataArts Studio开发AI DataLake作业。