更新时间:2026-10-21 GMT+08:00
分享

创建Ray引擎端点

创建Ray端点是用户与AI DataLake引擎服务建立连接的核心操作。通过Ray端点,您可以与AI DataLake引擎进行交互,执行各种数据处理和分析任务。本节操作介绍创建Ray引擎端点的操作步骤。

前提条件

创建端点

请您根据实际业务场景,选择创建不同的端点:

  • RayCluster:RayCluster端点提供长期运行、可复用的“计算资源池”,可多次提交Ray作业,适用于需要反复交互、多任务共享常驻环境的场景。
  • RayJob:RayJob端点提供按需启动、用完即销毁的“任务执行单元”,任务完成后自动释放资源,节省资源成本,但每次提交任务需要启动集群,存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。
  • Ray联邦:多Ray集群统一纳管、调度RayJob作业,提升算力规模与提高业务连续性。
  1. 登录AI DataLake管理控制台。
  2. 在页面左上角切换至对应的工作空间。
  3. 在左侧导航栏选择“引擎端点 > AI 计算引擎 Ray”,进入Ray引擎端点列表页面。
  4. 单击页面右上角的“创建端点”。

    1. 配置基础信息。
      表1 基础信息配置说明

      参数

      参数说明

      端点类型

      选择端点类型为“RayCluster”。

      RayCluster端点提供长期运行、可复用的“计算资源池”,可多次提交Ray作业,适用于需要反复交互、多任务共享常驻环境的场景。

      端点名称

      输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。

      • 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
      • 输入长度不能超过63个字符。

      端点显示名称

      输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。

      • 名称只能包含中文、英文、数字、中划线。
      • 输入长度不能超过63个字符。

      添加描述

      可选,单击“添加描述”添加端点描述信息。

      用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。

      标签

      单击“添加标签”,在标签栏输入标签键名称和标签值,用于对端点进行分类、标识和管理,支持快速筛选和分组。

      关于标签的更多信息,请参见管理AI DataLake标签。

    2. 资源配置。
      表2 资源配置说明

      参数

      参数说明

      资源使用模式

      选择资源使用模式。

      预留资源:使用预留资源池,资源独享。适合负载稳定、持续运行的业务场景,如生产项目、关键任务。

      选择计算资源池

      在下拉框中选择已创建的计算资源池。如果下拉框中没有可选的计算资源池,可以单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。

    3. 集群配置。
      配置端点时需要配置计算集群的Head和Workergroups。
      表3 集群配置说明

      参数

      参数说明

      Head

      Head(主节点)负责集群的初始化和引导,维护所有Worker节点的元数据信息。同时Head节点实时监控整个集群的资源状态(包括CPU、GPU、内存等),基于全局资源视图进行智能调度决策,将计算任务合理分配到最合适的Worker节点上执行,从而实现负载均衡,提升资源利用率。

      • 名称:用于标识主节点的名称,系统固定为“Head”。
      • 资源规格:从下拉框中选择主节点所使用的计算资源规格。
      • 卡数:自定义GPU/NPU卡数,CPU资源不支持输入卡数。
      • CPU及内存:配置主节点上运行的辅助Worker进程的CPU和内存。

      Workergroups

      Worker节点负责接收来自Head节点的任务并进行实际的计算处理。通过配置多个Worker节点,可以将大规模计算任务分解成多个子任务并行处理,显著提升计算效率。支持配置最小和最大Worker数量,可以根据任务负载动态调整计算资源,实现资源的高效利用。

      • 名称:用于标识工作节点组的名称,如“Workergroup01”,按需增加,便于管理和区分多个节点组。
      • 资源规格:选择该工作节点组所使用的计算资源规格。
      • 每Worker卡数:自定义GPU/NPU卡数,CPU资源不支持输入卡数。
      • 每Worker CPU及内存:配置每个工作节点的CPU核心数(vCPU)和内存大小(GiB),用于任务执行。
      • Worker数量(Min-Max):设置该工作节点组中Worker节点的最小和最大数量,支持弹性伸缩。例如:0-3 表示可动态扩展0到3个Worker节点,适用于按需调度。
      • 添加和删除Workergroup:如果需要多个Workergroup,单击“添加Workergroup”,每个端点最多可配置10个Workergroup。如果不需要某个Workergroup,单击“操作”列的“删除”。
      说明:

      规格配置后,即可在页面右侧的资源配额区域查看端点关联资源池后配置的资源规格及Min和Max资源数量。

    4. 镜像配置。
      表4 镜像配置说明

      参数

      参数说明

      镜像配置

      单击,在“预置镜像”或“自定义镜像”页签中选择镜像名称,并勾选镜像版本,单击“确定”。

      • 预置镜像分为纯CPU镜像(镜像版本为.cpu结尾)与融合镜像两种形态,CPU场景无需拉取GPU/NPU依赖,从而减小镜像体积、加快拉取与启动速度,提升资源利用率与任务部署效率。
      • 自定义镜像中可以改变作业的容器运行环境,增强作业的功能、性能。如果预置镜像不满足业务要求,请参考自定义镜像注册后,在此处进行选择。
    5. 存储配置。
      当计算任务需要访问或生成大量数据,且这些数据无法完全由计算节点本地存储或共享存储系统承载时,您可以增加外部存储资源。
      表5 存储配置说明

      参数

      参数说明

      选择临时存储

      用于存放作业运行中的临时数据,创建后不支持修改。

      在下拉框中选择临时存储,如果没有临时存储,请单击“购买临时存储”。具体操作,请参见购买存储资源。

      存储路径

      存储卷(Volume)内的物理子目录。

      挂载路径

      容器内的绝对路径。

      添加临时存储

      如果需要添加多个临时存储,请单击“添加临时存储”,每个端点最多可配置10个临时存储。

    6. 委托配置。
      表6 委托配置说明

      参数

      参数说明

      委托配置

      委托给端点的权限,在作业运行时自动换取凭证并刷新至Ray集群,您可以在Ray集群中使用该委托凭证调用对应的服务。

      您需要先勾选“委托配置”,并选择委托名。如果没有可选的委托,请单击“新建委托”。具体操作,请参见创建自定义委托。

    7. GCS高可用配置。
      GCS(Global Control Service)承担集群元数据的管理职责。未启用高可用时,一旦GCS发生故障,会引发整个集群故障。启用高可用后,GCS可通过Redis恢复元数据,从而防止集群级故障。
      表7 GCS高可用配置说明

      参数

      参数说明

      GCS高可用

      按需选择是否开启GCS高可用。

      • 启用高可用:GCS发生故障,可通过Redis恢复元数据,从而防止集群级故障。
      • 未启用高可用:GCS发生故障,可能会引发整个集群故障。

      勾选该参数后,还需配置“DCS Redis缓存实例”。

      DCS Redis缓存实例

      DCS Redis缓存实例是一种高性能、高可用的分布式缓存服务,适用于多种应用场景。通过合理配置和管理,可以显著提高应用的性能和可靠性。

      在下拉框中选择缓存实例,如果下拉框中没有可选的缓存实例,可以单击“新建缓存实例”进行创建。具体操作,请参见购买Redis实例。

      缓存实例创建成功后,您还需要开启SSL,具体操作如下:

      1. 单击已购买的缓存实例名称,进入“概览”页面。
      2. 在左侧导航栏单击“SSL设置”,单击根据界面提示开启SSL。

      选择“DCS Redis缓存实例”后,需要配置该实例对应的“账号”和“DEW 凭据名称”。

      账号

      在下拉框中选择账号,如果下拉框中没有可选的账号,请单击“新建”创建账号。具体操作,请参见配置Redis ACL访问账号。

      DEW 凭据名称

      存储DCS账号的密码,格式:凭据键为“password”,值为实际的密码。

      在下拉框中选择DEW凭据,如果下拉框中没有可选的DEW凭据,请单击“新建”创建DEW凭据。具体操作,请参见创建凭据。

      终端节点服务

      通过终端节点服务建立私网通道,无需经公网即可跨租户访问DCS Redis缓存实例。

      在下拉框中选择终端节点服务,如果下拉框没有可选项,请单击“新建”创建。具体操作,请参见创建终端节点服务。

      说明:

      端点创建后,不支持修改终端节点服务。

    8. History Server配置。
      表8 History Server配置说明

      参数

      参数说明

      History Server

      按需选择是否开启History Server。开启后,您可以查看已经运行结束的历史作业和日志等信息,从而可以高效进行作业分析、故障排查和性能优化。

      说明:
      • 开启此功能将消耗4vCPU 8GiB资源。
      • 在创建端点后,您可以通过编辑端点开启或关闭此功能。具体操作,请参见编辑Ray引擎端点。
      • 查看已经运行结束的历史作业和日志等信息的具体操作,请参见使用History Server查看历史作业。

      选择结果集存储

      选择用于存储作业运行过程中的结果缓存和日志文件的OBS并行文件系统,端点创建后不支持修改。

      如果没有可用的OBS并行文件系统,可单击“新建OBS并行文件系统”进行创建。具体操作,请参见创建并行文件系统。

      说明:

      结果集存储用于保存作业运行过程中的结果文件,您可以根据结果文件所需的保存时长手动定期清理或者在OBS并行文件系统中通过配置生命周期规则自定义存储时长。具体操作,请参见配置生命周期规则。

      委托名

      在下拉框中选择OBS存储的委托名。如果没有可选的委托,请单击“新建委托”。具体操作,请参见创建自定义委托。

    9. 请根据界面提示,按需配置监控对接AOM。
      表9 配置监控对接AOM

      参数

      参数说明

      监控对接AOM

      按需勾选“监控对接AOM”。

      对接应用运维管理(Application Operations Management,简称AOM)后,应用指标统一上报至AOM进行集中管理。您可基于AOM实现实时指标采集、自定义监控、告警配置与运维大盘可视化,全面掌控服务状态。关于各监控指标及含义,请参见Ray端点资源、作业和Ray原生指标。

      选择Prometheus实例

      在下拉列表选择Prometheus实例,如果没有可选的Prometheus实例,请单击“新建实例”。具体操作,请参见创建Prometheus实例。

    10. 请根据界面提示,配置日志对接LTS。
      表10 配置日志对接LTS说明

      参数

      参数说明

      日志对接LTS

      按需勾选“日志对接LTS”,如果不对接LTS,则无法查看对应作业的日志,了解更多对接详情请参见使用LTS管理AI DataLake作业日志。

      对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。

      勾选该参数后,还需配置“日志组”和“日志流”参数。

      日志组和日志流

      日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流。

      云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。

      • 如果已存在日志组和日志流:您可以在下拉框中选择日志组和日志流。
      • 如果没有日志组和日志流:需要先创建日志组,然后选择日志组。操作如下:
        说明:

        每个账号下最多可以创建100个日志组。

        1. 单击“创建日志组”。
        2. 在弹出“创建日志组&日志流”面板中,配置参数。

          日志组名称:输入日志组名称。

          日志流名称:输入日志流名称。

          日志存储时间(天):设置日志存储时间。默认存储30天。

          企业项目:选择企业项目。

        3. 单击“确定”。
        4. 单击,刷新后选择日志组和日志流。

      具体参数说明,请参见创建日志组和创建日志流。

  5. 单击“立即创建”,端点创建后,在列表中查看相关信息,当端点状态变为“运行中”后,即可提交作业到该端点中运行。
  1. 登录AI DataLake管理控制台。
  2. 在页面左上角切换至对应的工作空间。
  3. 在左侧导航栏选择“引擎端点 > AI 计算引擎 Ray”,进入Ray引擎端点列表页面。
  4. 单击页面右上角的“创建端点”,配置参数。

    1. 基础信息配置。
      表11 基础信息配置说明

      参数

      参数说明

      端点类型

      选择端点类型为“RayJob”。

      RayJob端点提供按需启动、用完即销毁的“任务执行单元”,任务完成后自动释放资源,节省资源成本,但每次提交任务需要启动集群,存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。

      端点名称

      输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。

      • 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
      • 输入长度不能超过63个字符。

      端点显示名称

      输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。

      • 名称只能包含中文、英文、数字、中划线。
      • 输入长度不能超过63个字符。

      添加描述

      可选,单击“添加描述”,添加端点描述信息。

      用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。

      标签

      单击“添加标签”,在标签栏输入标签键名称和标签值,用于对端点进行分类、标识和管理,支持快速筛选和分组。

      关于标签的更多信息,请参见管理AI DataLake标签。

    2. 资源配置。
      表12 资源配置说明

      参数

      参数说明

      资源使用模式

      选择资源使用模式。

      端点资源模式配置为“混合模式”或“按需弹性”时,系统将触发弹性资源调度。该模式下即视为您授权AI DataLake获取您的任务与资源数据用于特定功能处理,并代表您执行相关操作。

      • 预留资源:使用预留资源池,资源独享。适合负载稳定、持续运行的业务场景,如生产项目、关键任务。
      • 混合模式:基线保障,自动扩容。优先消耗预留资源,高峰期自动触发弹性扩容(当前仅支持CPU资源扩容)。适用于有规律波动的业务。
      • 按需弹性:按任务实际运行时长扣费,无任务不产生费用。适合短期或偶发性的业务需求,如开发测试或临时任务。
        说明:

        一个用户只能创建一个按需弹性作业端点。

      选择计算资源池

      仅资源使用模式选择“预留资源”和“混合模式”时,配置此参数。

      在下拉框中选择已创建的计算资源池。如果下拉框中没有可选的计算资源池,请单击“购买计算资源”进行购买。具体操作,请参见购买预留资源池。

      资源配额最大值

      仅资源使用模式选择“按需弹性”时,需要配置此参数。

      设置端点可占用的CPU资源上限,确保系统资源稳定并防止异常任务耗尽集群算力,节省成本。

    3. 规格配置。
      仅资源使用模式选择“预留资源”和“混合模式”时,配置此参数。
      表13 规格配置说明

      参数

      参数说明

      资源规格

      在下拉框中选择需要配置的资源规格,支持选择CPU、GPU、NPU资源。

      资源配额 (Min-Max)

      配置资源池分配给当前端点的最低可用资源和资源上限。

      • Min值默认置灰,不能配置。
      • Max值需大于0,但不能超过所选计算资源池的资源上限。

      添加规格

      您可以单击“添加规格”添加多个规格配置,最多支持添加10个。

      如果不需要某个规格配置,请在“操作”列单击“删除”,但至少需保留一个规格配置。

      规格配置后,即可在页面右侧的“资源配额”区域,查看端点关联资源池后配置的资源规格及Min和Max资源数量。

    4. 委托配置。
      表14 委托配置说明

      参数

      参数说明

      委托配置

      委托给端点的权限,在作业运行时自动换取凭证并刷新至Ray集群,您可以在Ray集群中使用该委托凭证调用对应的服务。

      您需要先勾选“委托配置”,并选择委托名。如果没有可选的委托,请单击“新建委托”。具体操作,请参见创建自定义委托。

    5. History Server配置。
      表15 History Server配置说明

      参数

      参数说明

      History Server

      按需选择是否开启History Server。开启后,您可以查看已经运行结束的历史作业和日志等信息,从而可以高效进行作业分析、故障排查和性能优化。

      说明:
      • 开启此功能将消耗4vCPU 8GiB资源。
      • 在创建端点后,您可以通过编辑端点开启或关闭此功能。具体操作,请参见编辑Ray引擎端点。
      • 查看已经运行结束的历史作业和日志等信息的具体操作,请参见使用History Server查看历史作业。

      选择结果集存储

      选择用于存储作业运行过程中的结果缓存和日志文件的OBS并行文件系统,端点创建后不支持修改。

      如果没有可用的OBS并行文件系统,可单击“新建OBS并行文件系统”进行创建。具体操作,请参见创建并行文件系统。

      说明:

      结果集存储用于保存作业运行过程中的结果文件,您可以根据结果文件所需的保存时长手动定期清理或者在OBS并行文件系统中通过配置生命周期规则自定义存储时长。具体操作,请参见配置生命周期规则。

      委托名

      在下拉框中选择OBS存储的委托名。如果没有可选的委托,请单击“新建委托”。具体操作,请参见创建自定义委托。

    6. 请根据界面提示,按需配置监控对接AOM。
      表16 配置监控对接AOM

      参数

      参数说明

      监控对接AOM

      按需勾选“监控对接AOM”。

      对接应用运维管理(Application Operations Management,简称AOM)后,应用指标统一上报至AOM进行集中管理。您可基于AOM实现实时指标采集、自定义监控、告警配置与运维大盘可视化,全面掌控服务状态。关于各监控指标及含义,请参见Ray端点资源、作业和Ray原生指标。

      选择Prometheus实例

      在下拉列表选择Prometheus实例,如果没有可选的Prometheus实例,请单击“新建实例”。具体操作,请参见创建Prometheus实例。

    7. 请根据界面提示,配置日志对接LTS。
      表17 配置日志对接LTS说明

      参数

      参数说明

      日志对接LTS

      按需勾选“日志对接LTS”,如果不对接LTS,则无法查看对应作业的日志,了解更多对接详情请参见使用LTS管理AI DataLake作业日志。

      对接LTS后日志会投递到云日志服务(Log Tank Service,简称LTS)进行管理。可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。

      勾选该参数后,还需配置“日志组”和“日志流”参数。

      日志组和日志流

      日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便管理日志流。

      云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。

      • 如果已存在日志组和日志流:您可以在下拉框中选择日志组和日志流。
      • 如果没有日志组和日志流:需要先创建日志组,然后选择日志组。操作如下:
        说明:

        每个账号下最多可以创建100个日志组。

        1. 单击“创建日志组”。
        2. 在弹出“创建日志组&日志流”面板中,配置参数。

          日志组名称:输入日志组名称。

          日志流名称:输入日志流名称。

          日志存储时间(天):设置日志存储时间。默认存储30天。

          企业项目:选择企业项目。

        3. 单击“确定”。
        4. 单击,刷新后选择日志组和日志流。

      具体参数说明,请参见创建日志组和创建日志流。

  5. 单击“立即创建”,端点创建后,可在列表中查看相关信息,当端点状态变为“运行中”,即可提交作业到该端点中运行。

当Ray单集群面临高并发任务时,可能存在Head节点故障后业务无法自动恢复、大规模集群性能下降等问题,难以满足业务高峰需求。通过创建Ray联邦端点,可将多个RayCluster端点组合为统一入口,根据RayCluster的资源负载进行智能调度作业,突破单集群性能瓶颈,保障业务连续性。

  1. 登录AI DataLake管理控制台。
  2. 在页面左上角切换至对应的工作空间。
  3. 在左侧导航栏选择“引擎端点 > AI 计算引擎 Ray”,进入Ray引擎端点列表页面。
  4. 单击页面右上角的“创建端点”,然后配置参数信息。

    表18 参数说明

    参数

    参数说明

    端点类型

    选择“Ray联邦”。

    端点名称

    输入端点名称,是端点的唯一标识符,不可与已存在的端点重名,且创建后不支持修改。

    • 名称只能包含小写字母、数字、中划线,且只能以字母开头,以字母或数字结尾。
    • 输入长度不能超过63个字符。

    端点显示名称

    输入端点显示名称,创建后可修改,用于用户界面展示,方便用户识别和记忆。

    • 名称只能包含中文、英文、数字、中划线。
    • 输入长度不能超过63个字符。

    添加描述

    可选,单击“添加描述”添加端点描述信息。

    用于详细说明端点的用途、背景等信息,帮助其他用户理解该端点的创建目的和使用场景。

    端点

    您可以根据实际需求勾选RayCluster端点,最多可选择50个。

    提交作业到Ray联邦点后,系统会根据各RayCluster端点的资源负载自动分发作业。

    说明:
    • 使用此功能前,请先创建RayCluster端点。具体操作,请参见创建RayCluster端点创建。
    • 仅展示运行中的RayCluster端点,您可以在搜索框,通过关键字过滤端点名称。
    • 您可以单击端点名称前的,查看端点的Head和Workergroups信息。

  5. 单击“立即创建”,当“状态”为“运行中”,表示创建Ray联邦端点成功。

后续操作

创建Ray端点后,您可以按需执行以下操作:

相关文档