更新时间:2026-05-26 GMT+08:00
分享

轻量算力集群资源开通

ModelArts 轻量算力集群是华为云ModelArts平台中的一种专属资源池,面向k8s资源型用户,提供托管式k8s集群,并预装主流AI开发插件以及自研的加速插件,以云原生方式直接向用户提供AI Native的资源、任务等能力。用户可以直接操作资源池中的节点和k8s集群,适合需要直接使用云原生资源的场景。

ModelArts轻量算力集群与ModelArts 专属资源池区别:

  • ModelArts轻量算力集群:用户可以直接操作节点和k8s集群,适合需要直接使用云原生资源的场景。
  • ModelArts专属资源池:提供训练、推理、开发环境等上层能力,适合一站式开发需求。

本章节主要介绍开通轻量算力集群的详细操作。

计费影响

  • 在开通轻量算力集群资源后,会产生计算资源的计费。轻量算力集群仅支持包年/包月计费模式,具体内容如表1所示。
    表1 计费项

    计费项

    计费项说明

    适用的计费模式

    计费公式

    计算资源

    专属资源池

    使用计算资源的用量。

    具体费用可参见ModelArts价格详情

    包年/包月

    规格单价 * 计算节点个数 * 购买时长

  • 在创建专属资源池时,从节点创建成功起开始计费,驱动升级和安装过程也视为创建成功的一部分。
  • 购买Cluster资源池时,需要选择CCE集群,具体费用请参考CCE计费详情

集群资源开通流程

开通集群资源过程中用户侧需要完成的任务流程如下图所示。

图1 用户侧任务流程
表2 Cluster资源开通流程

任务

说明

准备工作

在开通资源前,请确保完成所有相关准备工作,包括申请开通所需的规格和进行权限配置。

购买轻量算力集群

在ModelArts控制台上购买Cluster资源。

准备工作

在开通资源前,请确保完成所有相关准备工作,包括申请开通所需的规格和进行权限配置。

购买轻量算力集群

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“资源管理 > 轻量算力资源 > 轻量算力集群”(旧版控制台:资源管理 > 轻量算力集群,进入“轻量算力集群 (轻量算力集群)”页面。
  2. 在“轻量算力集群 (轻量算力集群)”页面,单击“购买轻量算力集群”,进入购买轻量算力集群界面,参见下表填写参数。
    表3 轻量算力集群的参数说明

    参数名称

    子参数

    说明

    集群配置

    计费模式

    包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。

    轻量算力集群暂时只支持包年/包月计费模式。

    区域

    选择资源池所在区域。

    不同区域的云服务产品之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。

    选择CCE集群

    在下拉列表中选择用户账户下已有的CCE集群。如果没有集群,单击右侧的“创建集群”,先去创建集群。集群配套版本请参考不同机型对应的软件配套版本

    警告:

    用户在CCE创建用于ModelArts的CCE集群时,请勿勾选Volcano调度器,否则可能会导致轻量算力集群创建过程中节点驱动安装异常。

    对于NPU类型,ModelArts 轻量算力集群会在创建过程中自动安装Volcano调度器

    创建Cluster资源池时,请确保CCE集群为“运行中”状态。

    当前仅支持CCE集群1.28&1.31&1.33版本。CCE 1.28和CCE 1.31版本支持通过API方式创建,CCE 1.33集群版本支持通过控制台、API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略

    如果您已有CCE集群,但CCE集群版本低于1.33,则可参考升级集群的流程和方法,建议将集群升级至1.33版本。

    节点池规格配置

    节点池名称

    为帮助您更好地管理Kubernetes集群内的节点,ModelArts支持通过节点池来管理节点。

    新建节点池的名称,可自定义。也可以在创建成功后在详情页对节点池名称行修改。

    小写字母开头, 支持小写字母. 数字. 中划线(-), 不能以中划线(-)结尾,不能以-default结尾,长度范围2-50个字符。

    节点类型

    • 普通节点:单一物理主机或虚拟主机,提供基础的独立计算、存储和网络资源。
    • 超节点:融合架构节点,提供大规模计算资源池,支持灵活调配和高密度部署。超节点专门用于支持大规模的模型推理任务。这些服务器通常配备有多个计算卡(如昇腾NPU),能够提供强大的计算能力,以满足高负载的推理需求。超节点资源仅支持西南-贵阳一、华北三、华北-乌兰察布一和华东二区域。
    • 整柜节点:整台物理机独占资源,提供极高隔离性、性能和资源确定性。

    实例规格类型

    支持NPU、GPU、CPU三种芯片规格资源,根据实际需要选择。

    • NPU:专用 AI 架构,适合 AI 任务,计算性能极高,支持多节点分布式部署,适用于AI 模型训练、推理加速等场景。
    • GPU:并行计算架构,适合并行任务,计算性能高,支持多卡分布式训练,适用于深度学习训练、图像处理等场景。
    • CPU:通用计算架构,适合通用任务,计算性能较低,适用于轻量级适合通用任务,计算性能较低。

    CPU架构

    CPU架构指的是中央处理器(CPU)的指令集和设计规范。支持X86和ARM64两种不同的CPU架构,同时支持X86和ARM64异构调度。请根据实际需要选择。

    • X86:适用于大多数通用计算场景,支持广泛的软件生态。
    • ARM64:适用于特定优化场景,如移动应用、嵌入式系统等,具有低功耗优势。

    实例规格

    “实例规格类型”选择完成后显示对应的实例规格名称、规格类型、节点规模(台)、NPU/GPU(卡)、vCPUs和内存(GiB)等信息。

    选择需要使用的规格平台分配的资源规格包含了一定的系统损耗,实际可用的资源量小于规格标称的资源。实际可用的资源量可在资源池创建成功后,在详情页的“节点”页签中查看。

    GPU驱动/NPU驱动

    “实例规格类型”选择GPU或NPU时展示此参数。

    用户根据需要选择驱动类型。默认选择最新版本。

    部分GPU和NPU规格资源池允许自定义安装驱动。集群中默认会安装驱动,无需用户操作,只需要指定驱动版本即可。

    如果实例规格类型为GPU则显示“GPU驱动”,如果实例规格类型为NPU则显示“NPU驱动”。

    gpu-driver配套版本请参考不同机型对应的软件配套版本

    可用区

    可用区是在同一区域下,电力、网络隔离的物理区域。可用区之间内网互通,不同可用区之间物理隔离。

    分为随机可用区”“指定可用区”

    • 随机可用区:系统自动分配可用区。
    • 指定可用区:指定资源池节点在哪个可用区域。考虑系统容灾时,推荐指定节点在同一个可用区。可设置可用区的实例数。

    实例数量

    选择轻量算力集群的实例个数(即节点个数),数量越多,计算性能越强。

    当“可用区”选择“指定可用区”时,实例数会根据可用区的数据自动计算,此处无需再次设置。

    单次创建时,实例数建议不大于30,否则可能触发限流导致创建失败。

    “节点类型”为普通节点时,如果规格支持整柜购买,选择“整柜节点”时,此时实例数量会显示为“每柜台数*柜数”,购买的实例总数为两者的乘积。整柜购买可实现不同任务间的物理隔离,避免通信冲突,在任务规模增大的同时保证计算性能线性度不下降。整柜下的实例生命周期需保持一致,需要一起创建、一起删除。

    “节点类型”“超节点”时,支持选择步长购买,此时实例数会显示为“数量*步长”,购买的实例总数为两者的乘积。

    存储配置-系统盘存储方式

    选择实例规格后,可以看到每个实例自带的系统盘存储方式、系统盘类型和容量。系统盘存储方式只能是本地盘或云硬盘。

    部分规格没有携带系统盘,在创建专属资源池时支持设置系统盘存储方式、系统盘类型和容量。此时,系统盘存储方式仅支持“云硬盘 EVS”(包括通用SSD、高IO和超高IO)。

    存储配置-容器盘存储方式

    可以看到每个实例自带的容器盘存储方式、容器盘类型、容量(GiB)数量(个)和写入模式等。

    容器盘存储方式只能是本地盘或云硬盘。

    部分规格没有携带容器盘,在创建专属资源池时支持设置容器盘的存储方式。此时,容器盘存储方式只能是本地盘或云硬盘,具体以控制台实际显示为准。云硬盘包括通用SSD、高IO和超高IO。

    部分规格支持设置容器盘的写入模式,写入模式包括“线性”和“条带化”。

    • 线性:线性逻辑卷是将一个或多个物理卷整合为一个逻辑卷,实际写入数据时会先往一个基本物理卷上写入,当存储空间占满时再往另一个基本物理卷写入。
    • 条带化:创建逻辑卷时指定条带化,当实际写入数据时会将连续的数据分成大小相同的块,然后依次存储在多个物理卷上,实现数据的并发读写从而提高读写性能。条带化模式的存储池不支持扩容。

    容器盘高级配置-容器运行时空间分配

    容器盘有两种空间分配方式,分为共享磁盘空间和指定磁盘空间。

    • 共享磁盘空间:采用容器引擎和Kubelet共享磁盘空间的方式,不在划分容器引擎 (Docker/Containerd)和Kubelet组件的空间。

    • 指定磁盘空间:容器盘空间默认划分为两块,一块用于存放容器引擎 (Docker/Containerd) 工作目录、容器镜像的数据和镜像元数据;另一块用于Kubelet组件和EmptyDir临时存储等。
      • 容器引擎和容器镜像空间占比:容器引擎和容器镜像在数据盘上占用的空间比例上限,剩余空间将分配给Kubelet组件和EmptyDir临时缓存使用。
      • Kubelet组件和EmptyDir临时缓存空间占比:表示Kubelet组件和EmptyDir临时缓存使用的空间。

    “容器引擎和容器镜像空间占比”将直接影响“容器引擎空间(GiB)”的可用存储上限。

    警告:
    • 开启共享磁盘后,部分容器占用过多磁盘空间可能影响其他业务,请合理规划使用。
    • 轻量算力集群场景下,若客户自行在CCE集群中安装log-agent插件,需将插件升级至1.3.0版本及以上,否则会影响日志采集。
    • 节点池创建成功后,可以修改该配置。修改配置后,新建节点生效,存量已创建节点不影响。修改容器运行时空间分配后,新建节点将与存量节点产生配置差异,可能影响业务运行一致性,请谨慎操作。如需统一配置,可对存量节点进行重置。

    容器盘高级配置-容器引擎空间(GiB)

    该参数限制的是POD容器空间分配的大小。可指定容器引擎空间大小。

    容器引擎空间大小仅支持整数, 默认值与最小值为50GiB,不同规格的最大值不同,数值有效范围请参考界面提示。自定义设置容器引擎空间大小不会造成额外费用增加。

    该参数限制了单个POD作业使用磁盘的大小。

    不限制容器引擎空间可能导致磁盘被占满,影响节点稳定性,建议通过指定大小设置合理上限。

    添加存储配置-添加容器数据盘

    部分规格支持额外挂载容器数据盘,可以看到“添加容器数据盘”参数,单击该参数前面的+号,可以给专属资源池的每个实例额外挂载容器数据盘,此处挂载的盘都是EVS云硬盘,会单独收费。

    支持设置挂载盘的容器盘类型、容量和数量,具体取值以控制台实际显示为准。

    添加存储配置-添加普通数据盘

    当前只有部分规格支持此功能。

    • 数据盘存储方式:数据的存储位置。只能是本地盘或云硬盘。部分规格支持“添加普通数据盘”,挂载多个数据盘到资源池中。支持设置数据盘的“磁盘类型”“大小”“数量”
    • 不同规格有不同的磁盘数量限制,比如:300I Duo节点仅支持挂载4个数据盘,具体请以界面提示为准。
    • 数据盘类型:部分规格没有携带容器盘,在创建专属资源池时支持设置容器盘的存储方式。此时,容器盘存储方式只能是本地盘或云硬盘,具体以控制台实际显示为准。云硬盘包括通用SSD、高IO和超高IO。
    • 容量(GiB):数据盘容量。
    • 数量(个):数据盘个数。
    • 挂载方式:部分规格支持在数据盘高级配置参数中设置数据盘的挂载方式,具体如下。
      • 默认:仅是将云硬盘挂载到资源池上,未对挂载的云硬盘做任何处理,比如分区等。
      • 挂载到指定目录:用户可将云硬盘挂载到操作系统的特定路径。

        支持设置“数据盘挂载到的指定路径”“写入模式”,包括线性和条带化。

      • 以本地持久卷挂载:支持“持久卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。重启不易丢失数据,性能较好。主要用于分布式存储、大数据计算等。更多介绍请参见本地持久卷
      • 以临时存储卷挂载:支持“临时卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。任务结束就清空,随任务生命周期生成和结束。主要用户临时存储和日志中转。更多介绍请参见临时存储卷概述
    • 写入模式:包括“线性”和“条带化”。

    网络配置

    勾选“网络配置”后,支持设置虚拟私有云为CCE集群网络。

    • 虚拟私有云:默认为CCE集群所在VPC网络,不可修改。
    • 主网卡:选择同一VPC网络下的子网作为主网卡,负责节点基础通信(如注册、控制面交互),新创建的节点将会使用该子网资源。
    • 添加扩展网卡:

      单击“添加扩展网卡”可增加网卡。用于承载业务流量和增强网络能力。

      扩展网卡子网必须是节点主网卡网络配置(network)同一VPC下的子网。

      扩展网卡数量最多支持8个。不同规格对网卡上限有一定区别。

    • 关联安全组:用于指定节点池创建出来的节点使用的安全组。最多选择4个安全组。节点安全组需要放通一些端口以保障节点通信。如果不关联安全组将会使用集群中默认的节点安全组规则。

    环境配置

    勾选“环境配置”后,支持设置如下参数:

    • 镜像配置:可以指定实例的操作系统。
      • 预置镜像:ModelArts提供,支持多种操作系统,并且内置了AI场景相关驱动和软件,为用户提供了一个完整的AI开发环境,方便用户直接进行开发和训练,而无需额外配置。支持设置预置操作系统的镜像。选择操作系统及其版本和镜像。选择镜像时可选择“自动匹配镜像”,服务会根据您选择的驱动匹配最优镜像。
      • 私有镜像:非ModelArts官方提供,请您在测试环境中自行完成充分的测试验证,再应用于生产环境。请确保您的镜像与CCE集群目标运行环境(如操作系统类型、内核版本、容器运行时、驱动等)兼容性、稳定性和安全性,不兼容的镜像可能导致驱动安装失败、AI业务部署失败或运行异常。
    • 容器引擎:容器引擎是Kubernetes最重要的组件之一,负责管理镜像和容器的生命周期。Kubelet通过Container Runtime Interface (CRI) 与容器引擎交互,以管理镜像和容器。此处支持选择Docker和Containerd。Containerd和Docker的详细差异对比请见容器引擎

      您可以在创建资源池时选择容器引擎,也可在资源池创建完成后,在扩缩容界面修改。

      如果CCE集群版本低于1.23,仅支持选择Docker作为容器引擎。如果CCE集群版本大于等于1.27,仅支持选择Containerd作为容器引擎。其余CCE集群版本,支持选择Containerd或Docker作为容器引擎。

    • 安装后执行脚本:请输入脚本命令,命令中不能包含中文字符,需传入Base64转码后的脚本,转码后的字符数不能超过2048。脚本将在Kubernetes软件安装后执行,不影响Kubernetes软件安装。

      影响节点状态的命令(包括但不局限于reboot、stop等命令),可能会导致节点无法进入可用状态,导致节点在30分钟后被回收,请谨慎使用。

      请不要在“安装后执行脚本”中使用reboot命令立即重启,如果需要重启,可以使用“shutdown -r 1”命令延迟1分钟重启。

    节点池标签管理

    单击添加节点池标签。

    • 资源标签:通过为资源添加标签,可以对资源进行自定义标记,实现资源分类。也可在资源池创建完成后,在资源池详情页的“标签”页面修改。
    • K8S标签:设置附加到Kubernetes对象(比如Pod)上的键值对。最多可以添加20条标签。使用该标签可区分不同节点,可结合工作负载的亲和能力实现容器Pod调度到指定节点的功能。
    • 污点:默认为空。支持给节点加污点来设置反亲和性,每个节点最多配置20条污点。

    新增节点池

    当您需要更多节点池时,可单击“新增节点池”创建多个节点池。根据业务设置各个节点池配置。

    节点池最多支持创建10个,也可在节点池编号右侧删除多余的节点池。

    插件配置

    选择插件

    ModelArts提供多种类型的插件,通过添加插件选择性扩展资源池功能,以满足业务需求。

    单击“选择插件”,在弹框中勾选需要配置的插件,单击“确定”

    单击各插件的“查看详情”,可查看对应插件的功能介绍、版本更新特性等具体信息。

    默认添加如下插件:

    • 节点故障检测(ModelArts Node Agent)ModelArts节点故障检测是一款监控集群节点异常事件的插件,以及对接第三方监控平台功能的组件。它是一个在每个节点上运行的守护程序,可从不同的守护进程中搜集节点问题。
    • 指标监控插件(ModelArts Metrics Collector):默认内置插件,以节点守护程序运行,可采集节点及作业各类监控指标,并上报到AOM。
    • AI套件-Ascend NPU(Modelarts Device Plugin)支持容器里使用huawei NPU设备的管理插件。

      仅实例规格类型选择“Ascend”时自动安装。

    • Volcano调度器(Volcano Scheduler)Volcano 是一个基于 Kubernetes 的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当下缺失的一系列特性。

    资源调度与切分

    NPU算力切分

    打开“NPU算力切分”开关,显示当前NPU资源总量。单击“添加算力切分模板”按钮,在下拉列表中选择算力切分模板。

    资源池创建时,规格为“snt9b”和“snt3p”系列的NPU,当NPU驱动选择“24.1.rc2”及以上版本时支持算力切分。

    • 算力切分模板对应的虚拟化实例组合使用资源量不能超过资源总量。
    • 使用录入的算力切分资源模板创建资源池时,需要使用查询结果相同的npu驱动版本,否则资源池可能会创建失败。如需使用查询结果不同的npu驱动版本,可以创建多个资源规格绑定不同的算力切分资源模板。
    • 添加算力切分模板:单击可添加新的切分模板。

    集群管理

    名称

    专属资源池的名称。

    只能以小写字母开头,由小写字母、数字、中划线(-)组成,不能以中划线结尾,长度范围4-50个字符。

    描述(可选)

    单击“添加描述”可编辑对集群的描述介绍,方便查找区分集群。

    长度范围0-100个字符。

    自定义节点前缀

    开启后,可为节点名称添加前缀。

    • 添加前缀后,节点名称由前缀+随机数组成。
    • 输入长度范围为1到64个字符。
    • 前缀必须以小写字母开头,并由小写字母和数字组成,以“-”分隔。例如:node-com。

    标签

    单击“添加新标签”,可以为轻量算力集群配置标签信息,通过标签实现资源的分组管理。此处的标签信息可以同源标签管理服务TMS中预定义的标签信息。也可以在创建完成后的轻量算力集群详情页面中通过“标签”页签设置标签信息。

    管理

    登录凭证

    集群登录方式,可以设置密码登录,也可以设置密钥对登录。

    • 密码登录:默认用户名为root,用户自己设置密码。
    • 密钥对(KeyPair)登录:可以选择已有的密钥对,或者单击右侧的“创建密钥对”,先去创建一个密钥对。

    购买量

    购买时长

    选择购买时长。只有选择“包年/包月”计费模式时才需填写。

    自动续费默认关闭。勾选自动续费后,资源池到期后,会自动续期。自动续费时系统从可用余额扣款,详情请见自动续费。如果购买时是按月购买,则按照1个月周期自动续费。如果购买时是按年购买,则自动续费周期为1年。

  3. 单击“立即购买”确认规格。产品规格和协议许可确认无误后,单击“提交”,即可创建轻量算力集群。
    • 当资源池创建成功后,资源池的状态会变成“运行中”,当“节点个数”中的“可用节点”和“总数”值大于0时,资源池才能下发任务。
    • 可以将鼠标放在“创建中”字样上,查看当前创建过程详情。如果单击查看详情,可跳转到“操作记录”中。
    • 可以在轻量算力集群列表右上角的“操作记录”中查看资源池的任务记录。每条记录最多保留180天。此外,用户还可以在搜索框中通过操作状态、资源池ID和创建时间进行筛选。
      图9 操作记录
      图10 查看操作记录

    当资源池创建成功后,资源池的状态会变成“运行中”。单击集群资源名称,进入资源详情页。确认购买的规格是否正确。
    图11 查看资源详情

常见问题

资源池创建失败的原因与解决方法?

资源池创建失败,可通过控制台查看报错信息,定位失败原因,并进一步解决问题,详情请见资源池创建失败的原因与解决方法?

相关文档