on Gauge GPU卡显存使用率 cce_gpu_memory_used Gauge GPU显存使用量 cce_gpu_memory_total Gauge GPU显存总量 cce_gpu_memory_free Gauge GPU显存空闲量 cce_gpu_memory_clock

查看更多 →

应用GPU资源调度方式 IEF支持多应用共享的方式使用GPU显卡。 IEF支持单个应用使用多个GPU显卡。 GPU资源调度基于GPU显存容量，调度采用GPU显存预分配方式而非实时GPU显存资源。 当应用需要使用的GPU显存资源小于单个GPU卡显存时，支持以共享方式进行资源调度，对

查看更多 →

tes默认GPU调度模式（支持使用nvidia.com/gpu资源的工作负载）。 在工作负载中声明nvidia.com/gpu资源（即配置nvidia.com/gpu为小数，例如0.5）时将通过虚拟化GPU提供，实现GPU显存隔离，按照设定值的百分比为容器分配GPU显存（例如分配0

查看更多 →

力分配粒度为5%GPU，显存分配粒度达MB级别。 隔离：支持显存和算力的严格隔离，支持单显存隔离，算力与显存同时隔离两类场景。 兼容：业务无需重新编译，无需进行CUDA库替换，对业务无感。 父主题： GPU调度

查看更多 →

GPU虚拟化的优势 CCE提供的GPU虚拟化功能优势如下： 灵活：精细配置GPU算力占比及显存大小，算力分配粒度为5%GPU，显存分配粒度达MiB级别。 隔离：支持显存和算力的严格隔离，支持单显存隔离，算力与显存同时隔离两类场景。 兼容：业务无需重新编译，无需进行CUDA库替换，对业务无感。

查看更多 →

使用SSH工具连接Notebook， 服务器 的进程被清理了，GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理，GPU显存没有释放；或者代码运行过程中内存溢出导致程序被清理，需要释放下显存，清理GPU，然后重新启动。为了避免进程结束引起的代码未保存，建议您每隔一段时间保存下代码输出至OBS桶或者容器

查看更多 →

volcano.sh/gpu-mem.128Mi 1-16384间整数 无 允许 - 虚拟化GPU显存资源，若配置limit和request相同，可独立配置 GPU虚拟化资源：算力 参数名 取值范围 默认值 是否允许修改 作用范围 volcano.sh/gpu-core.percentage

查看更多 →

-----------------------------------+ 预期输出表明，该容器被分配显存总量为5120 MiB，实际使用了4912MiB。 查看所在节点的GPU显存隔离情况（在节点上执行）。 nvidia-smi 预期输出： Wed Apr 12 09:31:10

查看更多 →

在创建作业时，若需选择资源规格，您可通过规格名称了解对应规格的相关信息，如加速卡显存、CPU核心数、内存、硬盘大小。 例如，“GPU: 1*GP-Vnt1(32GB) | CPU: 8 核 64GB 3200GB”中，32G为GPU显存、8核为CPU核心数、64GB为内存、3200GB为硬盘大小。

查看更多 →

-----------------------------------+ 预期输出表明，该容器被分配显存总量为5000 MiB，实际使用了4792MiB。 查看所在节点的GPU显存隔离情况（在节点上执行）。 export PATH=$PATH:/usr/local/nvidia/bin;nvidia-smi

查看更多 →

gpu_mem_busy_percent GPU显存负载 该指标用于统计测量对象当前的GPU显存负载。 0-100% GPU 1分钟 维度 Key Value instance_id 云手机服务器ID cph_id 云手机ID disk_name 磁盘名称 gpu_index GPU名称 父主题： 使用CES监控CPH

查看更多 →

异常中文描述 检测方法 A050101 GPU 显存 GPU ECC错误。 通过nvidia-smi -a查询到存在Pending Page Blacklist为Yes的记录，或多比特Register File大于0。对于Ampere架构的GPU，存在以下场景： 存在不可纠正的S RAM 错误。

查看更多 →

NT_GPU_SMI_ECC_COUNT GPU 显存 ECC错误到达64次 通过nvidia-smi -a查询到Retired Pages中，Single Bit和Double Bit之和大于64。 发起维修流程。 NT_GPU_CARD_LOSE GPU 掉卡 GPU卡丢失。

查看更多 →

NA NA NA GPU显存 GPU显存容量 ma_container_gpu_mem_total_megabytes 该指标用于统计训练任务的显存容量。 兆字节（Megabytes） >0 NA NA NA GPU显存使用率 ma_container_gpu_mem_util

查看更多 →

该指标用于统计ModelArts用户服务的内存使用率。 gpu_util GPU使用率 该指标用于统计ModelArts用户服务的GPU使用情况。 gpu_mem_usage GPU显存使用率 该指标用于统计ModelArts用户服务的GPU显存使用情况。 npu_util NPU使用率 该

查看更多 →

Gauge % GPU进程 GPU各进程编码使用率 - cce_gpu_decoder_utilization_process Gauge % GPU进程 GPU各进程解码使用率 - 内存指标 cce_gpu_memory_used Gauge bytes GPU卡 GPU显存使用量 说明：

查看更多 →

NA NA NA GPU显存 GPU显存容量 ma_container_gpu_mem_total_megabytes 该指标用于统计训练作业的显存容量。 兆字节（Megabytes） >0 NA NA NA GPU显存使用率 ma_container_gpu_mem_util

查看更多 →

model_instance_count Integer 模型实例数。 gpu_memory_total Float gpu总显存，单位MB。 gpu_memory_usage Float 已使用gpu显存，单位MB。 npu_total Float 总NPU个数。 npu_usage

查看更多 →

节点-XGPU设备显存分配量 字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式：显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量 字节 每张GPU卡上的GPU虚拟化设备的显存总量

查看更多 →

查看资源使用率 当您创建完工作负载后，您也许会非常关心每个Pod的资源利用率。 云容器实例提供了查看CPU/内存、GPU/显存的界面，您只需要在无状态负载、任务、定时任务中Pod列表的“监控”Tab下即可查看资源使用率，如图1所示。 您也可以在Pod管理中查看所有Pod的资源使用率。

查看更多 →

NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配，原理是通过monkey-patch的方式将torch下的CUDA、nccl等操作映射为NPU和hccl对应的操作。如果没有用到GPU的高阶能力，例如自定义算子、直接操作GPU显存等操作，简单场景下可以直接使用自动迁移。 图1

查看更多 →