Lite Cluster资源开通
集群资源开通流程
开通集群资源过程中用户侧需要完成的任务流程如下图所示。
|
任务 |
说明 |
|---|---|
|
当前部分规格为受限购买，需要提前联系客户经理申请开通资源规格，预计1~3个工作日内开通（若无客户经理可提交工单反馈）。 |
|
|
为子用户开通使用资源池所需要的权限。 |
|
|
第一次使用ModelArts时需要创建委托授权，授权允许ModelArts代表用户去访问其他云服务。 如果之前已经创建过委托授权，需要更新委托相应的权限。 |
|
|
集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小等资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。 具体的配额方案请联系客户经理获取。 配额需大于要开通的资源，且在购买开通前完成配额提升，否则会导致资源开通失败。 |
|
|
购买Cluster资源池时，需要选择CCE集群，若您没有可用的CCE集群需要提前在CCE控制台购买。 |
|
|
在ModelArts控制台上购买Cluster资源。 |
Step1 申请开通资源规格
当前部分规格为受限购买（如modelarts.bm.npu.arm.8snt9b3.d），需要提前联系客户经理申请开通资源规格，预计1~3个工作日内开通（若无客户经理可提交工单反馈）。
Step2 基础权限开通
基础权限开通需要登录管理员账号，为子用户账号开通使用资源池所需的基础权限。
- 登录统一身份认证服务管理控制台。
- 单击目录左侧“用户组”，然后在页面右上角单击“创建用户组”。
- 填写“用户组名称”并单击“确定”。
- 在操作列单击“用户组管理”，将需要配置权限的用户加入用户组中。
- 单击用户组名称，进入用户组详情页。
- 在权限管理页签下，单击“授权”。
图2 “配置权限”
- 在搜索栏输入“ModelArts FullAccess”，并勾选“ModelArts FullAccess”。
图3 ModelArts FullAccess
以相同的方式，依次添加如下权限：
- ModelArts FullAccess
- CTS Administrator
- CCE Administrator
- BMS FullAccess
- IMS FullAccess
- DEW KeypairReadOnlyAccess
- VPC FullAccess
- ECS FullAccess
- SFS Turbo FullAccess
- OBS Administrator
- AOM FullAccess
- TMS FullAccess
- BSS Administrator
- 单击“下一步”，授权范围方案选择“所有资源”。
- 单击“确认”，完成基础权限开通。
Step4 申请扩大资源配额
由于AI机型规格相对较大，资源池所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小很可能会超出华为云默认提供的资源配额，因此需要申请扩大配额。请先联系客户经理确认资源配额提升具体方案，再参考本章节申请扩大配额。
- 登录华为云管理控制台。
- 在顶部导航栏单击“资源 > 我的配额”，进入服务配额页面。
图6 我的配额
- 在服务配额页面，单击右上角的“申请扩大配额”，填写申请材料后提交工单。
申请扩大配额主要是申请弹性云服务器ECS实例数、核心数（CPU核数）、RAM容量（内存大小）和云硬盘EVS磁盘容量这4个资源配额。具体的配额数量请先联系客户经理获取。
图7 ECS资源类型
图8 云硬盘资源类型
配额需大于需要开通的资源，且在购买开通前完成提升，否则会导致资源开通失败。
Step5 购买CCE集群
购买Cluster资源池时，需要选择CCE集群，若您没有可用的CCE集群，可参考购买Standard/Turbo集群进行购买，集群配套版本请参考不同机型的对应的软件配套版本。
创建Cluster资源池时，请确保CCE集群为“运行中”状态。
- 当前仅支持CCE集群1.23&1.25&1.28版本。
- 若您没有可用的CCE集群，可先创建CCE集群。CCE 1.28集群版本支持通过控制台、API方式创建，CCE 1.23和CCE 1.25版本支持通过API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略。
- 若您已有CCE集群，但CCE集群版本低于1.23，则可参考升级集群的流程和方法，建议将集群升级至1.28版本。
Step6 购买Cluster资源
- 登录ModelArts管理控制台，在左侧菜单栏中选择，进入“弹性集群 Cluster”页面。
- 在“Lite 资源池”页签，单击“购买AI专属集群”，进入购买AI专属集群界面，参见下表填写参数。
表2 Lite Cluster资源池的参数说明 参数名称
子参数
说明
计费模式
包年/包月
包年/包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。
按需计费
按需计费是后付费模式，按云服务器的实际使用时长计费，可以随时开通/删除云服务器。
集群规格
集群名称
系统默认提供一个名称，可以手动修改。
只能以小写字母开头，由小写字母、数字、中划线（-）组成，不能以中划线结尾。
购买方案
LIte Cluster场景下选择“ModelArts Lite Elastic Cluster（原生接口）”。
ModelArts Standard（标准版）用于ModelArts Standard场景下的专属资源池，具体参见创建Standard专属资源池。
选择CCE集群
在下拉列表中选择用户账户下已有的CCE集群。如果没有集群，单击右侧的“创建集群”，先去创建集群。集群配套版本请参考不同机型的对应的软件配套版本。
创建Cluster资源池时，请确保CCE集群为“运行中”状态。
说明：- 当前仅支持CCE集群1.23&1.25&1.28版本。
- 若您没有可用的CCE集群，可先创建CCE集群。CCE 1.28集群版本支持通过控制台、API方式创建，CCE 1.23和CCE 1.25版本支持通过API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略。
- 若您已有CCE集群，但CCE集群版本低于1.23，则可参考升级集群的流程和方法，建议将集群升级至1.28版本。
默认规格
CPU架构
CPU架构指的是中央处理器（CPU）的指令集和设计规范。支持X86和ARM64两种不同的CPU架构。请根据实际需要选择。
实例规格类型
支持CPU、GPU、Ascend三种芯片规格资源，根据实际需要选择。
实例规格
选择需要使用的规格。平台分配的资源规格包含了一定的系统损耗，实际可用的资源量小于规格标称的资源。实际可用的资源量可在资源池创建成功后，在详情页的“节点”页签中查看。
可用区
根据实际情况选择“随机分配”或“指定可用区”。可用区是在同一区域下，电力、网络隔离的物理区域。可用区之间内网互通，不同可用区之间物理隔离。
- 随机分配：系统自动分配可用区。
- 指定可用区：指定资源池实例在哪个可用区域。考虑系统容灾时，推荐指定实例在同一个可用区。可设置可用区的实例数。
实例数
选择Lite Cluster资源池的实例个数（即节点个数），数量越多，计算性能越强。
当“可用区”选择“指定可用区”时，实例数量会根据可用区的数据自动计算，此处无须再次设置。
说明：单次创建时，实例数建议不大于30，否则可能触发限流导致创建失败。
部分区域的部分规格支持整柜购买，此时实例数会显示为“数量*整柜”，购买的实例总数为两者的乘积。整柜购买可实现不同任务间的物理隔离，避免通信冲突，在任务规模增大的同时保证计算性能线性度不下降。整柜下的实例生命周期需保持一致，需要一起创建、一起删除。
节点高级配置
开启“节点高级配置”后，可设置以下参数：
- 操作系统：可以指定实例的操作系统。
- 容器引擎：容器引擎是Kubernetes最重要的组件之一，负责管理镜像和容器的生命周期。Kubelet通过Container Runtime Interface (CRI) 与容器引擎交互，以管理镜像和容器。此处支持选择Docker和Containerd。Containerd和Docker的详细差异对比请见容器引擎。
您可以在创建资源池时选择容器引擎，也可在资源池创建完成后，在扩缩容界面修改。
若CCE集群版本低于1.23，仅支持选择Docker作为容器引擎。若CCE集群版本大于等于1.27，仅支持选择Containerd作为容器引擎。其余CCE集群版本，支持选择Containerd或Docker作为容器引擎。
- 节点池名称：新建节点池的名称，可自定义。
- 虚拟私有云：默认为CCE集群所在VPC网络，不可修改。
- 节点子网：选择同一VPC网络下的子网作为节点子网，新创建的节点将会使用该子网资源。
- 关联安全组：用于指定节点池创建出来的节点使用的安全组。最多选择4个安全组。节点安全组需要放通一些端口以保障节点通信。若不关联安全组将会使用集群中默认的节点安全组规则。
- 资源标签：通过为资源添加标签，可以对资源进行自定义标记，实现资源分类。也可在资源池创建完成后，在资源池详情页的“标签”页面修改。
- K8S标签：设置附加到Kubernetes对象（比如Pod）上的键值对。最多可以添加5条标签。使用该标签可区分不同节点，可结合工作负载的亲和能力实现容器Pod调度到指定节点的功能。
- 污点：默认为空。支持给节点加污点来设置反亲和性，每个节点最多配置5条污点。
- 安装后执行脚本：请输入脚本命令，命令中不能包含中文字符，需传入Base64转码后的脚本，转码后的字符数不能超过2048。脚本将在Kubernetes软件安装后执行，不影响Kubernetes软件安装。
说明：- 暂不支持资源池中的存量节点池修改名称。
- 请不要在安装后执行脚本中使用reboot命令立即重启，如果需要重启，可以使用“shutdown -r 1”命令延迟1分钟重启。
存储配置
开启存储配置开关，支持以下设置：
- 系统盘：显示系统盘的磁盘类型和大小。系统盘的磁盘类型支持本地盘和云硬盘（包括通用SSO、高IO和超高IO）。部分规格的系统盘仅支持本地盘。
- 容器盘：显示容器盘的存储类型、大小和数量。部分规格的容器盘存储类型支持手动设置，可以选择本地盘或云硬盘。
- 容器盘高级配置：支持设置“指定磁盘空间”、“容器引擎空间大小”、写入模式。
- 容器引擎空间大小：默认容器引擎空间大小为50GiB。默认值与最小值均为50GiB，不同规格的最大值不同，数值有效范围请参考界面提示。
- 写入模式：部分规格支持设置容器盘的写入模式为线性或条带化。线性逻辑卷是将一个或多个物理卷整合为一个逻辑卷，实际写入数据时会先往一个基本物理卷上写入，当存储空间占满时再往另一个基本物理卷写入。条带化是指创建逻辑卷时指定条带化，当实际写入数据时会将连续的数据分成大小相同的块，然后依次存储在多个物理卷上，实现数据的并发读写从而提高读写性能。条带化模式的存储池不支持扩容。
- 数据盘：部分规格支持“添加普通数据盘”，挂载多个数据盘到资源池中。支持设置数据盘的“磁盘类型”、“大小”和“数量”。
- 数据盘高级配置：部分规格支持在数据盘高级配置参数中设置数据盘的挂载方式，具体如下：
- 默认：仅是将云硬盘挂载到资源池上，未对挂载的云硬盘做任何处理，比如分区等。
- 挂载到指定目录：支持设置“数据盘挂载到的指定路径”和“写入模式”，包括线性和条带化。
- 以本地持久卷挂载：支持“持久卷写入模式”设置，包括线性和条带化，此处设置的是所有数据盘的写入模式。
- 以临时存储卷挂载：支持“临时卷写入模式”设置，包括线性和条带化，此处设置的是所有数据盘的写入模式。
新增规格
-
支持添加多个规格。限制如下：
- 当选择多个相同规格时，可打开高级选项指定节点池名称，至多只有一个可不指定节点池名称。
- 选择多个规格的CPU架构必须相同。例如都是X86，或者都是ARM。
- 如果选择了多个GPU或NPU规格，由于不同规格的参数网络平面不互通，分布式训练时训练速度会受到影响。如果您要做分布式训练，建议您只选择一个GPU或NPU规格。
- 一个资源池中，最多可添加10种规格。
资源调度与切分
自定义驱动
默认关闭。部分GPU和Ascend规格资源池允许自定义安装驱动。集群中默认会安装驱动，无需用户操作。只有需要指定驱动版本时，需要开启。建议在购买Cluster资源时，确定需要的驱动版本并选择对应驱动。
GPU驱动/Ascend驱动
打开“自定义驱动”开关，显示此参数，选择GPU/Ascend驱动。若规格类型为GPU则显示“GPU驱动”，若规格类型为Ascend则显示“Ascend驱动”。
gpu-driver配套版本请参考不同机型的对应的软件配套版本。
高级配置
集群描述
自定义集群描述信息。
自定义节点前缀
开启后，可为节点名称添加前缀。
- 添加前缀后，节点名称由前缀+随机数组成。
- 输入长度范围为1到64个字符。
- 前缀必须以小写字母开头，并由小写字母和数字组成，以“-”分隔。例如：node-com。
标签
单击“添加新标签”，可以为Lite资源池配置标签信息，通过标签实现资源的分组管理。此处的标签信息可以同源标签管理服务TMS中预定义的标签信息。也可以在创建完成后的Lite资源池详情页面中通过“标签”页签设置标签信息。
管理
登录凭证
集群登录方式，可以设置密码登录，也可以设置密钥对登录。
- 密码登录：默认用户名为root，用户自己设置密码。
- 密钥对（KeyPair）登录：可以选择已有的密钥对，或者单击右侧的“创建密钥对”，先去创建一个密钥对。
购买时长
-
选择购买时长。只有选择“包年/包月”计费模式时才需填写。
自动续费默认关闭。勾选自动续费后，资源池到期后，会自动续期。如果购买时是按月购买，则按照1个月周期自动续费。如果购买时是按年购买，则自动续费周期为1年。
- 单击“立即购买”确认规格。规格确认无误后，单击“提交”，即可创建Lite资源池。
- 当资源池创建成功后，资源池的状态会变成“运行中”，当“节点个数”中的“可用节点”和“总数”值大于0时，资源池才能下发任务。
- 可以将鼠标放在“创建中”字样上，查看当前创建过程详情。若单击查看详情，可跳转到“操作记录”中。
- 可以在Lite资源池列表右上角的“操作记录”中查看资源池的任务记录。
图9 操作记录
图10 查看操作记录
当资源池创建成功后，资源池的状态会变成“运行中”。单击集群资源名称，进入资源详情页。确认购买的规格是否正确。
图11 查看资源详情
