千字节/秒（kB/s） GPU aom_node_gpu_memory_free_megabytes gpuMemCapacity 显存容量 该指标用于统计测量对象的显存容量。 ≥0 兆字节（MB） aom_node_gpu_memory_usage gpuMemUsage 显存使用率 该指

查看更多 →

中设置GPU配额： 显存：显存值单位为Mi，需为正整数，若配置的显存超过单张GPU卡的显存，将会出现无法调度状况。 算力：算力值单位为%，需为5的倍数，且最大不超过100。 图1 配置工作负载信息 配置其余信息，完成后单击“创建”。 工作负载创建成功后，您可以尝试验证GPU虚拟化的隔离能力。

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

cuda10.2 CPU/GPU 是 是 tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像，预置AI引擎TensorFlow2.1 CPU/GPU 是 是 tensorflow1.13-cuda10.0-cudnn7-ubuntu18

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU虚拟化节点弹性伸缩配置 GPU故障处理 父主题： 调度

查看更多 →

兆字节（MB） 显存可用量（aom_cluster_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存可用量。 >0 兆字节（MB） 显存使用率（aom_cluster_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

CPU、GPU通用算法开发和训练基础镜像，预置AI引擎TensorFlow2.1 CPU/GPU 是 是 tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 GPU通用算法开发和训练基础镜像，预置AI引擎TensorFlow1.13.1 GPU 是 是 conda3-ubuntu18

查看更多 →

cce-obs-tensorflow persistentVolumeClaim: claimName: cce-obs-tensorflow containers: - name: container-0

查看更多 →

≥0 GPU显存 显存容量 ma_container_gpu_mem_total_megabytes 该指标用于统计训练任务的显存容量。 兆字节（Megabytes） >0 显存使用率 ma_container_gpu_mem_util 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

从0制作 自定义镜像 用于创建训练作业（Tensorflow+GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是Tensorflow，训练使用的资源是GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux

查看更多 →

使用SSH工具连接Notebook， 服务器 的进程被清理了，GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理，GPU显存没有释放；或者代码运行过程中内存溢出导致程序被清理，需要释放下显存，清理GPU，然后重新启动。为了避免进程结束引起的代码未保存，建议您每隔一段时间保存下代码输出至OBS桶或者容器

查看更多 →

XGPU共享技术是华为云基于内核虚拟GPU开发的共享技术。XGPU服务可以隔离GPU资源，实现多个容器共用一张显卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。 XGPU共享技术架构 XGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存和算力，为充分利

查看更多 →

混合调度（policy=5） 混合调度表示单张GPU卡支持单显存隔离和算力显存隔离类型。其中算力显存隔离的容器其隔离效果同固定算力（policy=1）完全一致，单显存隔离的容器共享算力显存隔离的容器分配后剩余的GPU算力。以max_inst=20为例，容器1、2为算力显存隔离容器，其分配的算力分别为

查看更多 →

参考准备GPU虚拟化资源，选择满足GPU虚拟化要求的驱动，并开启支持GPU虚拟化。 图1 异构资源配置 单击“确认配置”进行保存。 步骤三：创建GPU虚拟化负载并扩容 参考使用GPU虚拟化章节，创建使用GPU虚拟化资源的无状态负载，并将GPU申请量设为大于集群现有GPU资源上限。

查看更多 →

允许 - GPU数量 参数名 取值范围 默认值 是否允许修改 作用范围 nvidia.com/gpu 0-0.99间小数 或大于等于1小于等于10的整数 无 允许 - Kubernetes原生GPU资源配额，配置时limit和request配置相同 GPU虚拟化资源：显存 参数名 取值范围

查看更多 →

模板说明 TensorFlow图像分类模板 TensorFlow-py27通用模板 TensorFlow-py36通用模板 MXNet-py27通用模板 MXNet-py36通用模板 PyTorch-py27通用模板 PyTorch-py36通用模板 Caffe-CPU-py27通用模板

查看更多 →

集群--XGPU设备显存使用率 集群--XGPU设备算力使用率 节点--XGPU设备显存使用率 节点--XGPU设备算力使用率 节点--XGPU设备数量 节点--XGPU设备显存分配量 GPU卡--XGPU设备显存使用率 GPU卡--XGPU设备显存分配量 GPU卡--XGPU设备显存分配率 GPU卡--XGPU设备算力使用率

查看更多 →

所示。 表1 ModelArts训练基础镜像列表 引擎类型 版本名称 PyTorch pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 TensorFlow tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18

查看更多 →

在创建作业时，若需选择资源规格，您可通过规格名称了解对应规格的相关信息，如加速卡显存、CPU核心数、内存、硬盘大小。 例如，“GPU: 1*GP-Vnt1(32GB) | CPU: 8 核 64GB 3200GB”中，32G为GPU显存、8核为CPU核心数、64GB为内存、3200GB为硬盘大小。

查看更多 →