监控GPU虚拟化资源 本章介绍如何在U CS 控制台界面查看GPU虚拟化资源的全局监控指标。 前提条件 完成GPU虚拟化资源准备。 当前本地集群内存在节点开启GPU虚拟化能力。 当前本地集群开启了监控能力。 GPU虚拟化监控 登录UCS控制台，在左侧导航栏选择“容器智能分析”。 选择

查看更多 →

Serverless GPU使用介绍 概述 应用场景 父主题： GPU函数管理

查看更多 →

通过nvidia.com/gpu指定申请GPU的数量，支持申请设置为小于1的数量，比如nvidia.com/gpu: 0.5，这样可以多个Pod共享使用GPU。GPU数量小于1时，不支持跨GPU分配，如0.5 GPU只会分配到一张卡上。 使用nvidia.com/gpu参数指定GPU数量时，re

查看更多 →

G系列弹性 云服务器 GPU驱动故障 问题描述 在Windows系统的G系列弹性云 服务器 中，无法打开NVIDIA 控制面板，GPU驱动无法使用或GPU驱动显示异常。 可能原因 GPU驱动状态异常。 处理方法 打开Windows设备管理器，在显示适配器中查看GPU驱动状态。 GPU驱动显示

查看更多 →

GPU A系列裸金属服务器没有任务，GPU被占用问题 问题现象 服务器没有任务，但GPU显示被占用。 图1 显卡运行状态 处理方法 nvidia-smi -pm 1 父主题： FAQ

查看更多 →

T4 GPU设备显示异常 问题描述 使用NVIDIA Tesla T4 GPU的云服务器，例如Pi2或G6规格，执行nvidia-smi命令查看GPU使用情况时，显示如下： No devices were found 原因分析 NVIDIA Tesla T4 GPU是NVIDIA的新版本，默认使用并开启GSP

查看更多 →

置为GPU插件配置中指定的版本。 如果需要稳定升级GPU节点驱动，推荐使用通过节点池升级节点的GPU驱动版本。 前提条件 需要使用kubectl连接到集群，详情请参见通过kubectl连接集群。 操作步骤 如果您需要使用指定的NVIDIA驱动版本，可以在节点安装新版本GPU驱动，操作步骤如下：

查看更多 →

兼容Kubernetes默认GPU调度模式 开启GPU虚拟化后，默认该GPU节点不再支持使用Kubernetes默认GPU调度模式的工作负载，即不再支持使用nvidia.com/gpu资源的工作负载。如果您在集群中已使用nvidia.com/gpu资源的工作负载，可在gpu-device-p

查看更多 →

GPU实例故障分类列表 GPU实例故障的分类列表如表1所示。 表1 GPU实例故障分类列表 是否可恢复故障 故障类型 相关文档 可恢复故障，可按照相关文档自行恢复 镜像配置问题 如何处理Nouveau驱动未禁用导致的问题 ECC错误 如何处理ECC ERROR：存在待隔离页问题 内核升级问题

查看更多 →

错误码说明 未检查到当前节点存在GPU设备 可能原因 GPU卡类型不匹配，当前IEF仅支持nvidia的GPU设备 GPU设备节点未检测到 处理措施 非nvidia的GPU卡。 安装IEF软件时，不使能GPU设备，或更换nvidia的GPU卡。 未检测到GPU设备。 尝试重启节点。 父主题：

查看更多 →

GPU插件关键参数检查异常处理 检查项内容 检查CCE GPU插件中部分配置是否被侵入式修改，被侵入式修改的插件可能导致升级失败。 解决方案 使用kubectl连接集群。 执行以下命令获取插件实例详情。 kubectl get ds nvidia-driver-installer

查看更多 →

GPU业务迁移至昇腾训练推理 ModelArts昇腾迁移调优工具总览 基于LLM模型的GPU训练业务迁移至昇腾指导 GPU训练业务迁移至昇腾的通用指导 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导

查看更多 →

a1），请继续按照处理方法处理；如果查找不到显卡或者显示状态为rev ff，请根据显卡故障诊断及处理方法进行故障诊断。规格对应显卡数量可以通过GPU加速型查询。 lspci | grep -i nvidia 处理方法 非CCE集群场景，建议尝试自行重装驱动，或升级驱动版本后执行nvidi

查看更多 →

GPU加速云服务器 出现NVIDIA内核崩溃，如何解决？ 问题描述 GPU加速型云服务器在运行过程中发生crash，重启云服务器后检查日志，发现没有打印NVIDIA驱动堆栈日志。 图1 堆栈日志信息 可能原因 云服务器在运行过程中遇到NVIDIA官方驱动bug，导致云服务器内核崩溃。

查看更多 →

采集方式（Windows）：通过调用GPU卡的nvml.dll库获取。 0-100% 云服务器 云服务器 - GPU 1分钟 gpu_usage_gpu (Agent) GPU使用率 该指标用于统计测量对象当前的GPU使用率。 单位：百分比 采集方式（Linux）：通过调用GPU卡的libnvidia-ml

查看更多 →

实例的GPU/NPU的平均利用率低于50%时，在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平均利用率计算方法：将作业worker-0实例的各个GPU/NPU加速卡每个时间点的利用率汇总取平均值。

查看更多 →

实例的GPU/NPU的平均利用率低于50%时，在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平均利用率计算方法：将作业worker-0实例的各个GPU/NPU加速卡每个时间点的利用率汇总取平均值。

查看更多 →

对于使用第三方VR运行环境（如SteamVR）的用户，GPU云服务器创建完成或重启后，建议用户在连接头显设备前先进行房间设置，即登录GPU云服务器配置环境，包括设置默认身高等操作。 前提条件 已在VR云渲游平台成功创建应用。 创建的GPU加速型云服务器为“闲置”状态。 操作步骤 获取GPU云服务器的弹性公网IP。

查看更多 →

执行reboot命令，重启服务器。 （可选）GPU加速型弹性云服务器结果验证 对于GPU加速型弹性云服务器，在安装完图形化界面后，可通过如下操作验证驱动是否正常工作。 登录管理控制台。 为弹性云服务器配置安全组。 单击弹性云服务器名称，查看弹性云服务器详情，在弹性云服务器详情页面，选择“安全组”。

查看更多 →

云渲游平台使用统一身份认证服务实现认证和鉴权功能。 GPU加速型云服务器 GACS GPU加速型云服务器（GPU Accelerated Cloud Server, GACS）能够提供强大的浮点计算能力，从容应对高实时、高并发的海量计算场景。您可以在创建时选择相应规格的GPU加速型云服务器。 在云

查看更多 →

上报事件。 如果您的弹性云服务器未安装GPU驱动，可参见（推荐）自动安装GPU加速型ECS的GPU驱动（Windows）。 安装GPU驱动需使用默认路径。 GPU驱动安装完后，需重启GPU加速型实例，否则可能导致采集GPU指标及上报GPU事件失败。 GPU驱动正常安装后，最多10

查看更多 →