纳管资源
场景描述
在具身智能研发周期中,数据处理、仿真、模型训练及部署需要消耗海量的异构算力(如GPU/NPU等)。为降低用户成本,避免资源重复购入,CloudRobo管理平台支持将用户已有的或新创建的基础设施资源(如CCE云容器引擎集群、ModelArts专属资源池)进行纳管,并作为自己的专属资源池。
成功纳管后,用户可在CloudRobo控制台对该资源进行任务的编排与调度,具身智能业务任务(包括数据处理、NoteBook、模型训练、强化学习、模型部署)均可直接下发并在用户自有的资源中执行。
纳管CCE集群过程,CloudRobo会自动为用户打通用户资源到CloudRobo服务网络,保证业务服务调用。
约束限制
只能纳管状态正常的CCE Standard集群和ModelArts专属资源池。
前提条件
用户已创建CCE Standard集群或者ModelArts专属资源池。
创建ModelArts专属资源池
创建ModelArts专属资源池时,需购买A2资源池,如果规格受限购买,因为请提前联系客户经理申请开通资源规格。创建ModelArts专属资源池后需安装云原生日志采集插件,CloudRobo才能正常纳管并使用该资源池。
- 创建ModelArts专属资源池。
- 在左侧导航栏选择“资源管理 > 专属算力资源 > 资源池”。
- 单击刚创建的专属资源池,进入资源池详情页。
- 单击“插件”页签,并在搜索栏中搜索“云原生日志采集插件”,然后单击卡片下方的“安装”。 图1 安装云原生日志采集插件
- 在弹出来的“安装插件”弹窗中,设置“规格配置”(无需调整,页面默认配置即可)和“参数配置”,并勾选“我已阅读并知晓上述使用说明”。
如果“参数配置”中“日志流”和“日志组”下拉选项中如果没有合适选项可选择,可重新创建后再选择。
- 单击“日志组”右侧的“创建日志组”进入云日志服务(LTS)控制台。
- 为日志组lts-group-pilotmanager创建日志流。
参考“新建日志流”章节的操作描述完成日志流的创建,以创建lts-topic-pilotmanager为例。
图3 创建lts-group-pilotmanager日志流
- 单击“确定”,等待插件安装完成。 插件安装完成后,可在资源池详情页过滤“已安装插件”中显示云原生日志采集插件。图4 确认配置内容
创建CCE Standard集群
创建CCE Standard集群以及集群配置完成后,CloudRobo才能正常纳管并使用该集群。
- 创建CCE Standard集群。
CCE Standard集群版本:1.33、1.34或1.35。
- 创建节点规格。
节点规格:16 vCPUs | 32 GiB
- 返回“集群管理”页面单击CCE Standard集群。
- 在左侧导航栏选择“插件中心”,搜索KubeRay插件。
- 单击“安装”,完成KubeRay插件版本安装。
KubeRay插件用于调度数据处理作业。
图5 安装插件
- 单击CCE Standard集群,单击右侧“命令行工具”。 图6 命令行工具入口
- 在命令行窗口执行如下命令配置作业镜像的拉取密钥为default-secret。
kubectl patch serviceaccount default -p '{"imagePullSecrets": [{"name": "default-secret"}]}' -n default图7 配置作业镜像的拉取密钥为default-secret
- 返回集群详情页,选择“配置与密钥”菜单,在右侧单击“密钥”页签。
- 单击“创建密钥”,参照图8创建密钥文件。
- 名称:pvc.longaksk。
- 密钥类型:其他和cfe/secure-opaque
- 密钥数据:键为access.key,值为用户账号下的AK,键为secret.key,值为用户账号下的SK。“密钥数据”可通过新增访问密钥获取。
- 标签管理:secret.kubernetes.io/used-by:csi。
- 单击“确定”,完成密钥文件创建,新创建的密钥显示在密钥列表页面。
密钥文件用于数据处理作业和数据评测作业挂载OBS桶。
图9 密钥文件创建完成
纳管CCE Standard集群资源
- 登录CloudRobo控制台。
- 在左侧菜单栏选择“资源管理 > 专属资源”,单击“集群 (云容器引擎 CCE)”页签,进入集群纳管列表页面。
- 单击右上角“纳管资源”,右侧弹出“纳管资源”弹窗,请参考表1配置相关信息。
表1 纳管CCE Standard集群资源参数说明 参数
说明
集群 (云容器引擎 CCE)
下拉选择CCE集群。
CloudRobo只支持纳管CCE Standard集群。
如果下拉选项中没有符合需求的集群,可单击右侧的“创建集群”跳转到云容器引擎 CCE控制台购买Standard集群和创建节点()后方可进行纳管。纳管后的集群主要用于数据处理。
纳管CCE集群资源需打通网络,平台会创建弹性负载均衡ELB和VP终端节点VPCEP,从而产生相应费用。
描述(可选)
纳管CCE集群资源的简介。
长度为512个字符以内。
- 单击“确定”,完成CCE集群资源的纳管。
纳管成功后,纳管的资源将显示在集群纳管列表页面,且系统会为该资源池创建默认配额,配额可被所有工作空间共享,规格上限等于资源池规格上限。
纳管ModelArts专属资源池
- 登录CloudRobo控制台。
- 在左侧菜单栏选择“资源管理 > 专属资源”,单击“资源池 (模型训推 ModelArts)”页签,进入资源池纳管列表页面。
- 单击右上角“纳管资源”,右侧弹出“纳管资源”弹窗,参考表2配置相关信息。
表2 纳管ModelArts专属资源池参数说明 参数
说明
工作空间
下拉选择来自模型训推ModelArts对应的工作空间。
资源池
下拉选择ModelArts对应的工作空间下的专属资源池。
如果下拉选项中没有符合需求的资源池,可单击右侧的“创建资源池”跳转到模型训推 ModelArts控制台创建专属资源池,创建成功后方可进行纳管。纳管后的资源池主要用于Notebook、模型训练、强化学习、模型部署等业务。
API Key名称
输入API Key名称。名字具有唯一性,不可重复。
命名规则:由中文、数字、字母、下划线(_)、中划线(-)、点(.)、斜线(/)组成,长度为3~64个字符。
API Key
输入API Key。您可在模型训推ModelArts控制台的“模型推理 > 在线推理”页面实现API Key的创建和信息获取。
API Key长度为0~256个字符。
API KEY是通过API密钥进行API调用时的认证。API KEY是每个用户单独的身份认证,是个人调用应用接口的依据,必须妥善保管。
说明:API Key和API Key名称务必成对输入。
描述
纳管ModelArts专属资源池的简介。
长度为512个字符以内。
- 单击“确定”,完成ModelArts专属资源池的纳管。
纳管成功后,纳管的专属资源池将显示在资源池纳管列表页面,且系统会为该资源池创建默认配额,配额可被所有工作空间共享,规格上限等于资源池规格上限。

