（推荐）自动安装GPU加速型E CS 的GPU驱动（Linux） 操作场景 在使用GPU加速型实例时，需确保实例已安装GPU驱动，否则无法获得相应的GPU加速能力。 本节内容介绍如何在GPU加速型Linux实例上通过脚本自动安装GPU驱动。 使用须知 本操作仅支持Linux操作系统。 本操作当前仅支持安装Tesla驱动。

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的弹性伸缩实践 GPU故障处理 父主题： 调度

查看更多 →

弹性 云服务器 当前支持的基础监控指标 弹性云 服务器 操作系统监控的监控指标（安装Agent） 弹性云服务器进程监控的监控指标（安装Agent） GPU加速型实例安装GPU监控插件（Linux，公测） 如何自定义弹性云服务器告警规则 如何查看弹性云服务器运行状态进行日常监控 一键告警 弹性云服务器运行在物理机上，虽

查看更多 →

实例的GPU/NPU的平均利用率低于50%时，在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平均利用率计算方法：将作业worker-0实例的各个GPU/NPU加速卡每个时间点的利用率汇总取平均值。

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

使用Kubernetes默认GPU调度 GPU虚拟化 GPU虚拟化能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。 GPU虚拟化 NPU调度

查看更多 →

ma_container_gpu_enc_util GPU编码器利用率 表示编码器利用率 0～100 百分比（%） ma_container_gpu_dec_util GPU解码器利用率 表示解码器利用率 0～100 百分比（%） DCGM_FI_DEV_GPU_TEMP GPU温度 表示GPU温度。

查看更多 →

，并能以日志文件的方式保存在磁盘中，服务器出现问题后，可获取相应的atop日志文件进行分析。 atop安装前准备 云服务器已绑定弹性公网IP。 云服务器可以访问yum软件源。 CentOS 7/8、AlmaLinux、 Rocky Linux系列操作系统配置atop 执行以下命令，安装atop。

查看更多 →

GPU函数管理 Serverless GPU使用介绍 部署方式 函数模式

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →

GPU故障处理 前提条件 如需将GPU事件同步上报至AOM，集群中需安装云原生日志采集插件，您可前往AOM服务查看GPU插件隔离事件。 GPU插件隔离事件 当GPU显卡出现异常时，系统会将出现问题的GPU设备进行隔离，详细事件如表1所示。 表1 GPU插件隔离事件 事件原因 详细信息

查看更多 →

资源利用率优化调度 装箱调度（Binpack） 重调度（Descheduler） 节点池亲和性调度 负载感知调度 资源利用率优化调度配置案例 父主题： Volcano调度

查看更多 →

增大该权重值，优先提高集群Memory利用率。 1 自定义资源类型 指定Pod请求的其他自定义资源类型，例如nvidia.com/gpu。增大该权重值，优先提高指定资源的利用率。 - 图2 资源利用率优化调度 修改完成后，单击“确认配置”。 父主题： 资源利用率优化调度

查看更多 →

卸载GPU加速型ECS的GPU驱动 操作场景 当GPU加速型云服务器需手动卸载GPU驱动时，可参考本文档进行操作。 GPU驱动卸载命令与GPU驱动的安装方式和操作系统类型相关，例如： Windows操作系统卸载驱动 Linux操作系统卸载驱动 Windows操作系统卸载驱动 以Windows

查看更多 →

百分比（Percent） 0～100% GPU编码器利用率 ma_container_gpu_enc_util 表示编码器利用率 百分比（Percent） % GPU解码器利用率 ma_container_gpu_dec_util 表示解码器利用率 百分比（Percent） % GPU温度 DCGM_FI_DEV_GPU_TEMP

查看更多 →

硬盘 >= 1GB GPU（可选） 同一个边缘节点上的GPU型号必须相同。 说明： 当前支持Nvidia Tesla系列P4、P40、T4等型号GPU。 含有GPU硬件的机器，作为边缘节点的时候可以不使用GPU。 如果边缘节点使用GPU，您需要在纳管前安装GPU驱动。 目前只有使用

查看更多 →

使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（cpu/mem/gpu/snt9/infiniband）是否符合预期。

查看更多 →

GPU相关问题 日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal

查看更多 →

GPU计算型 GPU计算单元包含的计算资源主要适用于政企用户部署GPU密集型业务到CloudPond上使用的场景，对应华为云ECS的实例包含Pi系列，用户可根据机型规格情况选择对应的计算资源商品。具体规格请参考表1。 表1 GPU计算单元 名称 算力配置 描述 GPU计算单元-汇聚型-2Pi2

查看更多 →

XGPU共享技术是华为云基于内核虚拟GPU开发的共享技术。XGPU服务可以隔离GPU资源，实现多个容器共用一张显卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。 XGPU共享技术架构 XGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存

查看更多 →

资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率，并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 约束限制 目前卡死检测仅支持资源类型为GPU的训练作业。 操作步骤 卡死检测无需额外配置，作业运行中会自动执行检测。检测到作业卡死后会

查看更多 →