GPU计算型 GPU计算单元包含的计算资源主要适用于政企用户部署GPU密集型业务到CloudPond上使用的场景，对应华为云E CS 的实例包含Pi系列，用户可根据机型规格情况选择对应的计算资源商品。具体规格请参考表1。 表1 GPU计算单元 名称 算力配置 描述 GPU计算单元-汇聚型-2Pi2

查看更多 →

GPU虚拟化 GPU虚拟化概述 准备GPU虚拟化资源 使用GPU虚拟化 兼容Kubernetes默认GPU调度模式 父主题： GPU调度

查看更多 →

init容器不支持使用GPU虚拟化资源。 GPU虚拟化支持显存隔离、显存与算力隔离两种隔离模式。单个GPU卡仅支持调度同一种隔离模式的工作负载。 v1.27及以下的集群中，使用GPU虚拟化后，不支持使用Autoscaler插件自动扩缩容GPU虚拟化节点。 XGPU服务的隔离功能不支持以UVM的方式申请显存，即调用CUDA

查看更多 →

GPU虚拟化概述 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。

查看更多 →

准备GPU虚拟化资源 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。本文介绍如何在GPU节点上实现GPU的调度和隔离能力。 前提条件 配置 支持版本 集群版本 v1.23.8-r0、v1.25

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 CCE AI套件（NVIDIA GPU）插件使用DCGM-Exporter监控GPU指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU虚拟化节点弹性伸缩配置 GPU故障处理

查看更多 →

arch String 计算机架构。 enable_gpu Boolean 是否使用GPU。 enable_npu Boolean 是否使用NPU。 memory Integer 内存大小。 gpu_info Array of GpuInfo objects GPU信息。 npu_info

查看更多 →

用内存包括用户弹性 云服务器 中可使用的内存（即弹性云 服务器 规格所定义大小的内存）及为了管理该云服务器所需要消耗的DeC物理服务器的可用内存。管理该云服务器所需要消耗的DeC物理服务器可用内存通常约占弹性云服务器定义内存规格的1%~2%，该部分内存无法被弹性云服务器使用。 空闲：未被

查看更多 →

捷。 专属资源池和公共资源池的能力主要差异如下： 专属资源池为用户提供独立的计算集群、网络，不同用户间的专属资源池物理隔离，公共资源池仅提供逻辑隔离，专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享，在资源充足的情况下，作业是不会排队的；而公共资源池使用共享资源，在任何时候都有可能排队。

查看更多 →

创建Standard专属资源池 在AI开发过程中，由于业务需求的多样化和资源使用的复杂性，为满足特定业务对资源确定性、安全性、高效性的严格要求，创建专属资源池成为必要举措。 专属资源池是一种为特定用户、业务或项目专门划分和预留的资源集合，这些资源在物理或逻辑上与其他资源隔离开来，以确保特定需求能够得到满足。

查看更多 →

当前云容器实例提供“通用计算型”和“GPU加速型”两种类型的资源，创建命名空间时需要选择资源类型，后续创建的负载中容器就运行在此类型的集群上。 通用计算型：支持创建含CPU资源的容器实例，适用于通用计算场景。 GPU加速型：支持创建含GPU资源的容器实例，适用于深度学习、科学计算、视频处理等场景。

查看更多 →

ond一体化机柜。 可用：表示已在用户数据中心部署CloudPond一体化机柜。 该状态下可以正常使用CloudPond创建和管理业务资源。 不可用：表示小站运行时出现故障，暂不可用。 请联系华为云运维团队进行联合定位和解决故障。 部署中：表示CloudPond一体化机柜正在用户数据中心进行部署中。

查看更多 →

如下两种资源池： 专属资源池：专属资源池提供独享的计算资源，不与其他用户共享，资源更可控。使用ModelArts Standard开发平台的训练作业、部署模型以及开发环境时，可以使用Standard专属资源池的计算资源。使用前，您需要先购买创建一个专属资源池。 公共资源池：公共资

查看更多 →

470系列占用更多。 若发现GPU虚拟化的可用显存远小于GPU卡的物理显存，一般是因为存在一些非GPU虚拟化发放的容器，占用了显存。 通过CCE控制台或kubectl命令，将目标节点的GPU负载排空。 执行rmmod xgpu_km，进行GPU虚拟化模块的删除。 通过CCE控制台

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →

GPU调度概述 工作负载支持使用节点GPU资源，GPU资源使用可以分为如下两种模式： GPU静态分配（共享/独享）：按比例给Pod分配GPU显卡资源，支持独享（分配单张/多张显卡）和共享（部分显卡）方式。 GPU虚拟化：UCS On Premises GPU采用xGPU虚拟化技术

查看更多 →

创建GPU函数 GPU函数概述 自定义镜像 方式创建GPU函数 定制运行时方式创建GPU函数 父主题： 创建函数

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

GPU调度 GPU调度概述 准备GPU资源 创建GPU应用 监控GPU资源 父主题： 管理本地集群

查看更多 →

表1 规格说明 资源类型 规格 说明 计算资源 所有按需计费、包年/包月、套餐包中的计算资源规格，包括CPU、GPU和NPU 购买的所有类型的计算资源均不支持跨Region使用。 计算资源 套餐包 套餐包仅用于公共资源池，不能用于专属资源池。 配额限制 查看每个配额项目支持的默认

查看更多 →

隔离故障节点后，系统会在新的计算节点上重新创建训练作业。如果资源池规格紧张，重新下发的训练作业会以第一优先级进行排队。如果排队时间超过30分钟，训练作业会自动退出。该现象表明资源池规格任务紧张，训练作业无法正常启动，推荐您购买专属资源池补充计算节点。 如果您使用专属资源池创建训练作业，容错

查看更多 →