训练作业找不到GPU 问题现象 训练作业运行出现如下报错： failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 原因分析 根据错误信息判断，报错原因为训练作业运行程序读取不到GPU。

查看更多 →

GPU业务迁移至昇腾训练推理 基于LLM模型的GPU训练业务迁移至昇腾指导 GPU训练业务迁移至昇腾的通用指导 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导

查看更多 →

GPU训练业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 环境准备 训练业务代码适配昇腾PyTorch代码适配 PyTorch迁移精度调优 PyTorch迁移性能调优 训练网络迁移总结 常见问题 父主题： GPU业务迁移至昇腾训练推理

查看更多 →

FAQ GPU A系列裸金属 服务器 没有任务，GPU被占用问题 GPU A系列裸金属服务器无法获取显卡问题解决方法 GPU A系列裸金属服务器RoCE带宽不足问题解决方法 GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML

查看更多 →

怎样查看GPU加速型 云服务器 的GPU使用率？ 问题描述 Windows Server 2012和Windows Server 2016操作系统的GPU加速型云服务器无法从任务管理器查看GPU使用率。 本节操作介绍了两种查看GPU使用率的方法，方法一是在cmd窗口执行命令查看GPU使用

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU故障处理 父主题： 调度

查看更多 →

示例：创建DDP分布式训练（PyTorch+GPU） 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用 自定义镜像 功能 通过torch.distributed.launch命令启动 通过torch

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以

查看更多 →

Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以

查看更多 →

基于LLM模型的GPU训练业务迁移至昇腾指导 场景介绍 环境准备 迁移适配 精度对齐 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理

查看更多 →

计算加速型P2vs 计算加速型P2s（主售） 计算加速型P2v 计算加速型P1 推理加速型Pi2（主售） 推理加速型Pi1 相关操作链接： 适用于GPU加速实例的镜像列表 GPU加速型实例安装GRID驱动 GPU加速型实例安装Tesla驱动及CUDA工具包 表1 GPU加速实例总览 类别 实例

查看更多 →

GPU A系列裸金属服务器没有任务，GPU被占用问题 问题现象 服务器没有任务，但GPU显示被占用。 图1 显卡运行状态 处理方法 nvidia-smi -pm 1 父主题： FAQ

查看更多 →

明请参创建训练作业。 单击“提交”，完成训练作业的创建。 训练作业一般需要运行一段时间。 要查看训练作业实时情况，您可以前往训练作业列表，单击训练作业的名称，进入训练作业详情页，查看训练作业的基本情况，具体请参考查看作业详情。 父主题： 使用自定义镜像训练模型（模型训练）

查看更多 →

GPT-2基于Server适配PyTorch GPU的训练推理指导 场景描述 本文将介绍在GP Ant8裸金属服务器中，使用Megatron-Deepspeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-Deepspeed

查看更多 →

GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理 场景描述 本文将介绍在GP Ant8裸金属服务器中， 使用Megatron-Deepspeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。

查看更多 →

查看训练作业资源占用情况 如何查看训练作业资源使用详情 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。 在训练作业详情页面，单击“资源占用情况”页签查看计算节点的资源使用情况，最多可显示最近三天的

查看更多 →

D+进程 此时可以观察你的训练任务或者执行“nvidia-smi”等命令，几乎是卡顿无法执行，因为内核IO已经阻塞， 无法执行相关GPU命令，只能尝试释放D+进程。 处理方法 “nvidia-smi”是一个NVIDIA GPU监视器命令行工具，用于查看GPU的使用情况和性能指标，可以帮助用户进行GPU优化和故障排除。

查看更多 →

GPU裸金属服务器环境配置 GP Vnt1裸金属服务器EulerOS 2.9安装NVIDIA 515+CUDA 11.7 GP Vnt1裸金属服务器Ubuntu 18.04安装NVIDIA 470+CUDA 11.4 GP Vnt1裸金属服务器的Docker模式环境搭建 GP Ant8裸金属服务器Ubuntu

查看更多 →

据并行训练。 MindSpore引擎的分布式训练参见MindSpore官网。 训练流程简述 单机多卡数据并行训练流程介绍如下： 将模型复制到多个GPU上 将一个Batch的数据均分到每一个GPU上 各GPU上的模型进行前向传播，得到输出 主GPU（逻辑序号为0）收集各GPU的输出，汇总后计算损失

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →