分比（Percent）。 MEM：物理内存使用率（memUsage）百分比（Percent）。 GPU：GPU使用率（gpuUtil）百分比（Percent）。 GPU_MEM：显存使用率（gpuMemUsage）百分比（Percent）。 父主题： 查看作业详情

查看更多 →

String 该规格的GPU卡信息。 name：GPU名称 memory_mb：GPU显存大小 count：GPU显卡数量 alias_prefix：GPU显卡内部别名 info:asic_accelerators String 该规格的加速器信息。 name：加速器名称 memory_mb：加速器显存大小

查看更多 →

版本配套关系：https://docs.nvidia.com/grid/index.html 处理方法 重启GPU弹性 云服务器 。 若显示适配器恢复正常，则恢复完成。 若仍异常，则执行下一步。 请尝试重装GPU驱动或升级驱动版本。请参考安装GPU驱动。 如果用户使用的是vGPU实例，且实例驱动版本与主机版本不匹配，请重装版本匹配的驱动软件。

查看更多 →

势： 预留GPU实例 函数计算平台提供了默认的按量GPU实例之外的另一种GPU使用方式——预留GPU实例。如果您希望消除冷启动延时的影响，满足实时推理业务低延迟响应的要求，可以通过配置预留GPU实例来实现。更多关于预留模式的信息，请参见预留实例管理。 服务质量优先，服务成本次优

查看更多 →

cce_gpu_memory_total gpu显存总量 cce_gpu_memory_free gpu显存空闲量 cce_gpu_bar1_memory_used gpu bar1 内存使用量 cce_gpu_bar1_memory_total gpu bar1 内存总量 cce_gpu_clock gpu时钟频率

查看更多 →

捷、高效的GPU计算服务，有效承载AI模型推理、AI模型训练、音视频加速生产、图形图像加速等加速工作负载。 GPU函数主要使用于：仿真、模拟、科学计算、音视频、AI和图像处理等场景下，使用GPU硬件加速，从而提高业务处理效率。 表1 GPU函数规格 卡型 vGPU 显存（GB） vGPU

查看更多 →

error较多，继续诊断是否达到换卡条件： 执行nvidia-smi –r命令，重置GPU。 执行nvidia-smi --query-retired-pages=gpu_name,gpu_bus_id,gpu_serial,retired_pages.cause,retired_pages

查看更多 →

本章节介绍什么是准实时推理场景，以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中，工作负载具有以下一个或多个特征： 调用稀疏 日均调用几次到几万次，日均GPU实际使用时长远低于6~10小时，GPU存在大量闲置。 单次处理耗时长

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

工作负载异常：GPU节点部署服务报错 问题现象 客户在CCE集群的GPU节点上部署服务出现如下问题： 容器无法查看显存。 部署了7个GPU服务，有2个是能正常访问的，其他启动时都有报错。 2个是能正常访问的CUDA版本分别是10.1和10.0 其他服务CUDA版本也在这2个范围内

查看更多 →

Blacklist为Yes，说明存在待隔离页，需要重新加载驱动去隔离。 处理方法 方法一： 执行以下命令，查看GPU使用情况并停掉所有占用GPU的进程。 nvidia-smi 执行以下命令，重置GPU。 nvidia-smi -r 执行以下命令，查看是否存在待隔离页。 nvidia-smi -q

查看更多 →

卸载GPU加速型E CS 的GPU驱动 操作场景 当GPU加速型云 服务器 需手动卸载GPU驱动时，可参考本文档进行操作。 GPU驱动卸载命令与GPU驱动的安装方式和操作系统类型相关，例如： Windows操作系统卸载驱动 Linux操作系统卸载驱动 Windows操作系统卸载驱动 以Windows

查看更多 →

GPU相关问题 日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal

查看更多 →

GPU计算型 GPU计算单元包含的计算资源主要适用于政企用户部署GPU密集型业务到CloudPond上使用的场景，对应华为云ECS的实例包含Pi系列，用户可根据机型规格情况选择对应的计算资源商品。具体规格请参考表1。 表1 GPU计算单元 名称 算力配置 描述 GPU计算单元-汇聚型-2Pi2

查看更多 →

异构资源配置 GPU配置 GPU虚拟化 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高

查看更多 →

GPU函数管理 Serverless GPU使用介绍 部署方式 函数模式

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →

Notebook实例出现“Server Connection Error”错误 在Terminal中执行命令时，出现错误如图1 报错信息截图所示，此问题可能由于CPU/GPU或显存等占满，可在JupyterLab界面下方查看内存使用情况，如图2所示。 此时Kernel会自动重启，存储在“/home/ma-user

查看更多 →

问题原因 显存可能某个地方存在异常。 问题影响 可能影响一个或多个GPU的相关应用程序。 处理方法 执行nvidia-smi命令查看显卡信息。 如果在volatile Uncorr. ECC下发现存在ecc error，执行nvidia-smi -q -i &.{gpu_id}查看卡的详细信息。

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

管理GPU加速型ECS的GPU驱动 GPU驱动概述 Tesla驱动及CUDA工具包获取方式 （推荐）自动安装GPU加速型ECS的GPU驱动（Linux） （推荐）自动安装GPU加速型ECS的GPU驱动（Windows） 手动安装GPU加速型ECS的GRID驱动 手动安装GPU加速型ECS的Tesla驱动

查看更多 →