U设备上。 当前提供了“一键迁移”脚本进行GPU到昇腾适配，原理是通过monkey-patch的方式将torch下的CUDA、nccl等操作映射为NPU和hccl对应的操作。如果没有用到GPU的高阶能力，例如自定义算子、直接操作GPU显存等操作，简单场景下可以直接使用“一键迁移”。

查看更多 →

用其他方式申请显存，例如调用cudaMalloc()等。 XGPU允许用户动态禁用UVM的方式申请显存，禁用方法参考uvm_disable接口说明。 安装XGPU服务 安装XGPU服务请联系客服。 推荐您通过云容器引擎服务使用XGPU虚拟化服务，相关操作请参见GPU虚拟化。 XGPU服务使用示例

查看更多 →

千字节/秒（kB/s） GPU显存 ma_container_gpu_mem_total_megabytes 显存容量 该指标用于统计训练任务的显存容量。 >0 兆字节（MB） ma_container_gpu_mem_util 显存使用率 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

千字节/秒（kB/s） GPU aom_node_gpu_memory_free_megabytes gpuMemCapacity 显存容量 该指标用于统计测量对象的显存容量。 ≥0 兆字节（MB） aom_node_gpu_memory_usage gpuMemUsage 显存使用率 该指

查看更多 →

≥0 GPU显存 显存容量 ma_container_gpu_mem_total_megabytes 该指标用于统计训练任务的显存容量。 兆字节（Megabytes） >0 显存使用率 ma_container_gpu_mem_util 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

策略类型选择“HPA+CronHPA策略”，并启用HPA策略。 您可在“自定义策略”中选择GPU监控参数创建弹性伸缩策略，示例如下。 图4 选择自定义指标 示例中以cce_gpu_memory_utilization（GPU显存使用率）作为伸缩指标，其余HPA参数的设置请根据实际需求进行设置，详情请参见创建HPA策略。

查看更多 →

采集方式（Windows）：通过调用GPU卡的nvml.dll库获取。 0-100% 云服务器 云 服务器 - GPU 1分钟 gpu_free_mem GPU显存剩余量 该指标用于统计测量对象当前的GPU显存剩余量。 单位：MB 采集方式（Linux）：通过调用GPU卡的libnvidia-ml

查看更多 →

XGPU共享技术是华为云基于内核虚拟GPU开发的共享技术。XGPU服务可以隔离GPU资源，实现多个容器共用一张显卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。 XGPU共享技术架构 XGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存和算力，为充分利

查看更多 →

混合调度（policy=5） 混合调度表示单张GPU卡支持单显存隔离和算力显存隔离类型。其中算力显存隔离的容器其隔离效果同固定算力（policy=1）完全一致，单显存隔离的容器共享算力显存隔离的容器分配后剩余的GPU算力。以max_inst=20为例，容器1、2为算力显存隔离容器，其分配的算力分别为

查看更多 →

兆字节（MB） 显存可用量（aom_cluster_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存可用量。 >0 兆字节（MB） 显存使用率（aom_cluster_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

≥0 GPU显存 显存容量 ma_container_gpu_mem_total_megabytes 该指标用于统计训练任务的显存容量。 兆字节（Megabytes） >0 显存使用率 ma_container_gpu_mem_util 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

集群--XGPU设备显存使用率 集群--XGPU设备算力使用率 节点--XGPU设备显存使用率 节点--XGPU设备算力使用率 节点--XGPU设备数量 节点--XGPU设备显存分配量 GPU卡--XGPU设备显存使用率 GPU卡--XGPU设备显存分配量 GPU卡--XGPU设备显存分配率 GPU卡--XGPU设备算力使用率

查看更多 →

兆字节（MB） 显存容量（aom_node_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） 显存使用率（aom_node_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。 0～100

查看更多 →

兆字节（MB） aom_node_gpu_memory_free_megabytes 显存容量 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） aom_node_gpu_memory_usage 显存使用率 该指标用于统计测量对象已使用的显存占显存容量的百分比。 0～100 百分比（%）

查看更多 →

memory_utilization 显存使用率。 该GPU的显存使用率。 % instance_id，gpu gpu_performance gpu性能状态。 该GPU的性能状态。 - instance_id，gpu encoder_utilization 编码使用率。 该GPU的编码能力使用率。

查看更多 →

百分比（%） 显存容量（aom_container_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） 显存使用率（aom_container_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的弹性伸缩实践 GPU故障处理 父主题： 调度

查看更多 →

参数详情：训练算法参数以及环境变量信息。 任务日志：任务运行过程中生成的日志信息，详情请查看训练任务日志查看和下载。 资源占用情况：显示任务占用的CPU、内存、GPU（显存）利用率、占用率等指标百分比折线图，详情请查看资源占用情况。 删除任务 单击操作栏的“删除”，删除单个任务。 勾选多个任务，单击列表上方的“删除”，可批量删除任务。

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

版本配套关系：https://docs.nvidia.com/grid/index.html 处理方法 重启GPU弹性云服务器。 若显示适配器恢复正常，则恢复完成。 若仍异常，则执行下一步。 请尝试重装GPU驱动或升级驱动版本。请参考安装GPU驱动。 如果用户使用的是vGPU实例，且实例驱动版本与主机版本不匹配，请重装版本匹配的驱动软件。

查看更多 →

分比（Percent）。 MEM：物理内存使用率（memUsage）百分比（Percent）。 GPU：GPU使用率（gpuUtil）百分比（Percent）。 GPU_MEM：显存使用率（gpuMemUsage）百分比（Percent）。 父主题： 查看作业详情

查看更多 →