GPU故障处理 前提条件 如需将GPU事件同步上报至AOM，集群中需安装云原生日志采集插件，您可前往AOM服务查看GPU插件隔离事件。 GPU插件隔离事件 当GPU显卡出现异常时，系统会将出现问题的GPU设备进行隔离，详细事件如表1所示。 表1 GPU插件隔离事件 事件原因 详细信息

查看更多 →

NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配，原理是通过monkey-patch的方式将torch下的CUDA、nccl等操作映射为NPU和hccl对应的操作。如果没有用到GPU的高阶能力，例如自定义算子、直接操作GPU显存等操作，简单场景下可以直接使用自动迁移。 图1

查看更多 →

XGPU允许用户动态禁用UVM的方式申请显存，禁用方法参考uvm_disable接口说明。 安装XGPU服务 安装XGPU服务请联系客服。 推荐您通过云容器引擎服务使用XGPU虚拟化服务，相关操作请参见GPU虚拟化。 XGPU服务使用示例 影响XGPU服务的环境变量如下表所示，您可以在创

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

入队失败重试率 GPU视图 集群 集群-显存使用率 集群-算力使用率 节点-显存使用量 节点-显存使用率 节点-算力使用率 GPU卡-显存使用量 GPU卡-算力使用率 GPU卡-温度 GPU卡-显存频率 GPU卡-PCle带宽 XGPU视图 集群 集群--XGPU设备显存使用率 集群--XGPU设备算力使用率

查看更多 →

千字节/秒（kB/s） GPU aom_node_gpu_memory_free_megabytes gpuMemCapacity 显存容量 该指标用于统计测量对象的显存容量。 ≥0 兆字节（MB） aom_node_gpu_memory_usage gpuMemUsage 显存使用率 该指

查看更多 →

监控GPU资源指标 通过Prometheus和Grafana，可以实现对GPU资源指标的观测。本文以实际示例介绍如何通过Prometheus查看集群的GPU显存的使用。 本文将通过一个示例应用演示如何监控GPU资源指标，具体步骤如下： 访问Prometheus （可选）为Prom

查看更多 →

千字节/秒（kB/s） GPU显存 ma_container_gpu_mem_total_megabytes 显存容量 该指标用于统计训练任务的显存容量。 >0 兆字节（MB） ma_container_gpu_mem_util 显存使用率 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

策略类型选择“HPA+CronHPA策略”，并启用HPA策略。 您可在“自定义策略”中选择GPU监控参数创建弹性伸缩策略，示例如下。 图4 选择自定义指标 示例中以cce_gpu_memory_utilization（GPU显存使用率）作为伸缩指标，其余HPA参数的设置请根据实际需求进行设置，详情请参见创建HPA策略。

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU虚拟化节点弹性伸缩配置 GPU故障处理 GPU监控指标说明 父主题： 调度

查看更多 →

采集方式（Windows）：通过调用GPU卡的nvml.dll库获取。 0-100% 云服务器 云 服务器 - GPU 1分钟 gpu_free_mem GPU显存剩余量 该指标用于统计测量对象当前的GPU显存剩余量。 单位：MB 采集方式（Linux）：通过调用GPU卡的libnvidia-ml

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

XGPU共享技术是华为云基于内核虚拟GPU开发的共享技术。XGPU服务可以隔离GPU资源，实现多个容器共用一张显卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。 XGPU共享技术架构 XGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存和算力，为充分利

查看更多 →