更新时间:2024-08-15 GMT+08:00
分享

Lite Cluster资源开通

集群资源开通流程

开通集群资源过程中用户侧需要完成的任务流程如下图所示。

图1 用户侧任务流程
表1 Cluster资源开通流程

任务

说明

Step1 申请开通资源规格

当前部分规格为受限购买,需要提前联系客户经理申请开通资源规格,预计1~3个工作日内开通(若无客户经理可提交工单反馈)。

Step2 基础权限开通

为子用户开通使用资源池所需要的权限。

Step3 在ModelArts上创建委托授权

第一次使用ModelArts时需要创建委托授权,授权允许ModelArts代表用户去访问其他云服务。

如果之前已经创建过委托授权,需要更新委托相应的权限。

Step4 申请扩大资源配额

集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小等资源会超出华为云默认提供的资源配额,因此需要申请扩大配额。

具体的配额方案请联系客户经理获取。

配额需大于要开通的资源,且在购买开通前完成配额提升,否则会导致资源开通失败。

Step5 购买CCE集群

购买Cluster资源池时,需要选择CCE集群,若您没有可用的CCE集群需要提前在CCE控制台购买。

Step6 购买Cluster资源

在ModelArts控制台上购买Cluster资源。

Step1 申请开通资源规格

当前部分规格为受限购买(如modelarts.bm.npu.arm.8snt9b3.d),需要提前联系客户经理申请开通资源规格,预计1~3个工作日内开通(若无客户经理可提交工单反馈)。

Step2 基础权限开通

基础权限开通需要登录管理员账号,为子用户账号开通使用资源池所需的基础权限。

  1. 登录统一身份认证服务管理控制台。
  2. 单击目录左侧“用户组”,然后在页面右上角单击“创建用户组”
  3. 填写“用户组名称”并单击“确定”
  4. 在操作列单击“用户组管理”,将需要配置权限的用户加入用户组中。
  5. 单击用户组名称,进入用户组详情页。
  6. 在权限管理页签下,单击“授权”

    图2 “配置权限”

  7. 在搜索栏输入“ModelArts FullAccess”,并勾选“ModelArts FullAccess”

    图3 ModelArts FullAccess

    以相同的方式,依次添加如下权限:

    • ModelArts FullAccess
    • CTS Administrator
    • CCE Administrator
    • BMS FullAccess
    • IMS FullAccess
    • DEW KeypairReadOnlyAccess
    • VPC FullAccess
    • ECS FullAccess
    • SFS Turbo FullAccess
    • OBS Administrator
    • AOM FullAccess
    • TMS FullAccess
    • BSS Administrator

  8. 单击“下一步”,授权范围方案选择“所有资源”
  9. 单击“确认”,完成基础权限开通。

Step3 在ModelArts上创建委托授权

  • 新建委托

    第一次使用ModelArts时需要创建委托授权,授权允许ModelArts代表用户去访问其他云服务。使用ModelArts Lite的资源池需要授权允许ModelArts代表用户访问云容器引擎服务CCE、裸金属服务BMS、镜像服务IMS和密钥管理服务DEW。

    进入到ModelArts控制台的“全局配置”页面,单击“添加授权”,根据提示进行操作。

    图4 添加授权
  • 更新委托

    如果之前给ModelArts创过委托授权,此处可以更新授权。

    1. 进入到ModelArts控制台的“专属资源池”页面,查看是否存在授权缺失的提示。
    2. 如果有授权缺失,根据提示,单击“此处”更新委托。根据提示选择“追加至已有授权”,单击“确定”,系统会提示权限更新成功。

Step4 申请扩大资源配额

由于AI机型规格相对较大,资源池所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小很可能会超出华为云默认提供的资源配额,因此需要申请扩大配额。请先联系客户经理确认资源配额提升具体方案,再参考本章节申请扩大配额。

  1. 登录华为云管理控制台。
  2. 在顶部导航栏单击“资源 > 我的配额”,进入服务配额页面。

    图5 我的配额

  3. 在服务配额页面,单击右上角的“申请扩大配额”,填写申请材料后提交工单。

    申请扩大配额主要是申请弹性云服务器ECS实例数、核心数(CPU核数)、RAM容量(内存大小)和云硬盘EVS磁盘容量这4个资源配额。具体的配额数量请先联系客户经理获取。

    图6 ECS资源类型
    图7 云硬盘资源类型

    配额需大于需要开通的资源,且在购买开通前完成提升,否则会导致资源开通失败。

Step5 购买CCE集群

购买Cluster资源池时,需要选择CCE集群,若您没有可用的CCE集群,可参考购买Standard/Turbo集群进行购买,集群配套版本请参考不同机型的对应的软件配套版本

创建Cluster资源池时,请确保CCE集群为“运行中”状态。

  • 当前仅支持CCE集群1.23&1.25&1.28版本。
  • 若您没有可用的CCE集群,可先创建CCE集群。CCE 1.28集群版本支持通过控制台、API方式创建,CCE 1.23和CCE 1.25版本支持通过API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略
  • 若您已有CCE集群,但CCE集群版本低于1.23,则可参考升级集群的流程和方法,建议将集群升级至1.28版本。

Step6 购买Cluster资源

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择AI专属资源池 > 弹性集群 Cluster,进入“弹性集群 Cluster”页面。
  2. 在“弹性集群 Cluster”页签,单击“购买AI专属集群”,进入购买AI专属集群界面,参见下表填写参数。
    表2 专属资源池的参数说明

    参数名称

    子参数

    说明

    名称

    -

    专属资源池的名称。

    只能以小写字母开头,由小写字母、数字、中划线(-)组成,不能以中划线结尾。

    描述

    -

    专属资源池的简要说明。

    使用场景

    -

    选择“ModelArts Lite”

    计费模式

    -

    选择“按需计费”“包年/包月”模式。

    • 包年/包月

      包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。

    • 按需计费

      按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。

    CCE集群

    -

    在下拉列表中选择用户账户下已有的CCE集群。如果没有集群,单击右侧的“创建集群”,先去创建集群。集群配套版本请参考不同机型的对应的软件配套版本

    创建Cluster资源池时,请确保CCE集群为“运行中”状态。

    说明:
    • 当前仅支持CCE集群1.23&1.25&1.28版本。
    • 若您没有可用的CCE集群,可先创建CCE集群。CCE 1.28集群版本支持通过控制台、API方式创建,CCE 1.23和CCE 1.25版本支持通过API方式创建。不同版本的CCE集群创建方式请见Kubernetes版本策略
    • 若您已有CCE集群,但CCE集群版本低于1.23,则可参考升级集群的流程和方法,建议将集群升级至1.28版本。

    自定义节点名称

    -

    开启后,可为节点名称添加前缀。

    • 添加前缀后,节点名称由前缀+随机数组成。
    • 输入长度范围为1到64个字符。
    • 前缀必须以小写字母开头,并由小写字母和数字组成,以“-”分隔。例如:node-com。

    规格管理

    -

    支持添加多个规格。限制如下:

    • 当选择多个相同规格时,可打开高级选项指定节点池名称,至多只有一个可不指定节点池名称。
    • 选择多个规格的CPU架构必须相同。例如都是X86,或者都是ARM。
    • 如果选择了多个GPU或NPU规格,由于不同规格的参数网络平面不互通,分布式训练时训练速度会受到影响。如果您要做分布式训练,建议您只选择一个GPU或NPU规格。
    • 一个资源池中,最多可添加10种规格。

    规格类型

    请根据界面提示选择需要使用的规格。平台分配的资源规格包含了一定的系统损耗,实际可用的资源量小于规格标称的资源。实际可用的资源量可在专属资源池创建成功后,在详情页的“节点”页签中查看。

    可用区

    您可以根据实际情况选择随机分配”“指定AZ”。可用区是在同一区域下,电力、网络隔离的物理区域。可用区之间内网互通,不同可用区之间物理隔离。

    • 随机分配:系统自动分配可用区。
    • 指定AZ:指定资源池节点在哪个可用区域。考虑系统容灾时,推荐指定节点在同一个可用区。可设置可用区的节点数。

    节点数量

    选择专属资源池的节点数,选择的节点数越多,计算性能越强。

    当“可用区”选择“指定AZ”时,节点数量会根据可用区的数据自动计算,此处无须再次设置。

    说明:

    单次创建时,节点数建议不大于30,否则可能触发限流导致创建失败。

    部分局点的部分规格支持整柜购买,此时节点数量会显示为“数量*整柜”,购买的节点总数为两者的乘积。整柜购买可实现不同任务间的物理隔离,避免通信冲突,在任务规模增大的同时保证计算性能线性度不下降。整柜下的节点生命周期需保持一致,需要一起创建、一起删除。

    图8 整柜购买

    高级选项

    开启后,可设置以下参数:

    • 容器引擎空间大小(dockersize)。若没开启,默认容器引擎空间大小为50GiB。默认值与最小值为50GiB,不同规格的最大值不同,数值有效范围请参考界面提示。
    • 容器引擎:容器引擎是Kubernetes最重要的组件之一,负责管理镜像和容器的生命周期。Kubelet通过Container Runtime Interface (CRI) 与容器引擎交互,以管理镜像和容器。

      您可以在创建时资源池时选择容器引擎,也可在资源池创建完成后,在扩缩容界面修改。其中Containerd调用链更短,组件更少,更稳定,占用节点资源更少,Containerd和Docker差异对比请见容器引擎

      若CCE集群版本低于1.23,仅支持选择Docker作为容器引擎。若CCE集群版本大于等于1.27,仅支持选择Containerd作为容器引擎。其余CCE集群版本,支持选择Containerd或Docker作为容器引擎。

    • 节点池名称:新建节点池的名称,可自定义,若未指定则默认使用“规格-default”作为节点池名称。当多个节点池选择相同规格时,至多只有一个可不指定节点池名称。
    • 虚拟私有云:默认为CCE集群所在VPC网络,不可修改。
    • 节点子网:选择同一VPC网络下的子网作为节点子网,新创建的节点将会使用该子网资源。
    • 关联安全组:用于指定节点池创建出来的节点使用的安全组。最多选择4个安全组。节点安全组需要放通一些端口以保障节点通信。若不关联安全组将会使用集群中默认的节点安全组规则。
    • 资源标签:通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。
    • K8S标签:设置附加到Kubernetes对象(比如Pod)上的键值对。最多可以添加20条标签。使用该标签可区分不同节点,可结合工作负载的亲和能力实现容器Pod调度到指定节点的功能。
    • 污点:默认为空。支持给节点加污点来设置反亲和性,每个节点最多配置20条污点。
    • 安装后执行脚本:请输入脚本命令,命令中不能包含中文字符,需传入Base64转码后的脚本,转码后的字符数不能超过2048。脚本将在Kubernetes软件安装后执行,不影响Kubernetes软件安装。
    说明:
    • 暂不支持资源池中的存量节点池修改名称。
    • 请不要在安装后执行脚本中使用reboot命令立即重启,如果需要重启,可以使用“shutdown -r 1”命令延迟1分钟重启。

    自定义驱动

    -

    默认关闭。部分GPU和Ascend规格资源池允许自定义安装驱动。集群中默认会安装驱动,无需用户操作。只有需要指定驱动版本时,需要开启。建议在购买Cluster资源时,确定需要的驱动版本并选择对应驱动。

    GPU驱动/Ascend驱动

    -

    打开“自定义驱动”开关,显示此参数,选择GPU/Ascend驱动。若规格类型为GPU则显示“GPU驱动”,若规格类型为Ascend则显示“Ascend驱动”。

    gpu-driver配套版本请参考不同机型的对应的软件配套版本

    购买时长

    -

    选择购买时长。只有选择“包年/包月”计费模式时才需填写。

    登录方式

    -

    集群登录方式,可以设置密码登录,也可以设置密钥对登录。

    • 密码登录:默认用户名为root,用户自己设置密码。
    • 密钥对(KeyPair)登录:可以选择已有的密钥对,或者单击右侧的“创建密钥对”,先去创建一个密钥对。

    高级选项

    -

    选中“现在配置”,可配置标签信息。

    ModelArts支持对接标签管理服务TMS,在ModelArts中创建资源消耗性任务(例如:创建Notebook、训练作业、推理在线服务)时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。

    标签详细用法请参见ModelArts如何通过标签实现资源分组管理

    单击“下一步”确认规格。规格确认无误后,单击“提交”,即可创建专属资源池。
    • 当资源池创建成功后,资源池的状态会变成“运行中”,当“节点个数”中的“可用”和“总数”值大于0时,资源池才能下发任务。
      图9 查看资源池
    • 可以将鼠标放在“创建中”字样上,查看当前创建过程详情。若点击查看详情,可跳转到“操作记录”中。
      图10 创建中状态
      图11 查看详情
    • 可以在资源池列表左上角“操作记录”中查看资源池的任务记录。
      图12 操作记录
      图13 查看资源池状态

    当资源池创建成功后,资源池的状态会变成“运行中”。单击集群资源名称,进入资源详情页。确认购买的规格是否正确。

    图14 查看资源详情

相关文档