126”，如下所示。 GPU Pod的详细规格和显卡驱动的说明请参见Pod规格。 图2 选择GPU容器规格 选择需要的容器镜像，这里选择的上传到镜像容器仓库的tensorflow镜像。 在容器设置下面的高级设置中，挂载一个NFS类型的文件存储卷，用于保存训练后的数据。 图3 挂载NFS存储

查看更多 →

训练场景主要查看自研的依赖包是否正常，查看pip list是否包含所需的包，查看容器直接调用的python是否是自己所需要的那个（如果容器镜像装了多个python，需要设置python路径的环境变量）。 测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和

查看更多 →

G系列弹性 云服务器 GPU驱动故障 问题描述 在Windows系统的G系列弹性云 服务器 中，无法打开NVIDIA 控制面板，GPU驱动无法使用或GPU驱动显示异常。 可能原因 GPU驱动状态异常。 处理方法 打开Windows设备管理器，在显示适配器中查看GPU驱动状态。 GPU驱动显示

查看更多 →

支持GPU监控的环境约束 仅支持Linux操作系统，且仅部分Linux公共镜像版本支持GPU监控，详情见：Agent支持的系统有哪些？ 支持的规格：G6v、G6、P2s、P2v、P2vs、G5、Pi2、Pi1、P1系列的E CS ，P、Pi、G、KP系列的BMS。 已安装lspci工

查看更多 →

GPU负载 使用Tensorflow训练神经网络 使用Nvidia-smi工具

查看更多 →

GPU调度 GPU调度概述 准备GPU资源 创建GPU应用 监控GPU资源 父主题： 管理本地集群

查看更多 →

如果GPU加速型实例已安装GPU驱动，需要先卸载原驱动后再安装新的目标驱动。 当前仅部分GPU加速型实例的规格、部分Windows操作系统版本支持通过脚本自动安装GPU驱动。 Windows Server 2016 数据中心版 Windows Server 2019 数据中心版 如果您的规格、操作系统或驱动版本不支

查看更多 →

要超过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。 ModelArts公共资源池的容器引擎空间为50G，专属资源池的容器引擎空间的默认为50G，支持在创建专属资源池时自定义容器引擎空间。 自定义镜像 的默认用户必须为“uid”为“1000”的用户。 自定义

查看更多 →

它们是由内核控制的，该进程处于等待I/O操作完成的状态，可能是在读取或写入GPU相关的数据，这是正常的操作。但是，如果该进程一直处于"D+"状态，可能表明出现了I/O操作阻塞或其他问题，这可能导致系统死锁或其他问题。 如果想构造nvidia-smi D+进程，可以死循环一直执行n

查看更多 →

已删除的弹性云服务器可以再开通吗？ 已删除是一种弹性云服务器的中间状态。说明弹性云服务器已被正常删除，在该状态下的弹性云服务器，不能对外提供业务，将会在短时间内从系统中彻底清除。 已删除的弹性云服务器在管理控制台的弹性云服务器列表中只会停留较短时间，系统稍后便会将其彻底清除，因此

查看更多 →

如何查看训练作业资源占用情况？ 在ModelArts管理控制台，选择“模型训练>训练作业”，进入训练作业列表页面。在训练作业列表中，单击目标作业名称，查看该作业的详情。您可以在“资源占用情况”页签查看到如下指标信息。 CPU：CPU使用率（cpuUsage）百分比（Percent）。

查看更多 →

本文档提供的调测代码是以PyTorch为例编写的，不同的AI框架之间，整体流程是完全相同的，只需要修改个别的参数即可。 DataParallel进行单机多卡训练的优缺点 代码简单：仅需修改一行代码。 通信瓶颈 ：负责reducer的GPU更新模型参数后分发到不同的GPU，因此有较大的通信开销。 GPU负载不均衡：

查看更多 →

cn/Download/index.aspx?lang=cn。 图2 驱动下载页面 填写产品信息并单击“搜索”，可跳转至驱动的最新版本下载页面。 图3 最新版本驱动 您可以通过“发布重点”获取该驱动版本更新或解决的问题，用于判断是否进行升级。 父主题： 操作系统相关问题

查看更多 →

GPU计算型 GPU计算单元包含的计算资源主要适用于政企用户部署GPU密集型业务到CloudPond上使用的场景，对应华为云ECS的实例包含Pi系列，用户可根据机型规格情况选择对应的计算资源商品。具体规格请参考表1。 表1 GPU计算单元 名称 算力配置 描述 GPU计算单元-汇聚型-2Pi2

查看更多 →

CUDA in forked subprocess” 训练作业找不到GPU 日志提示“RuntimeError: CUDA error: an illegal memory access was encountered” 父主题： 训练作业

查看更多 →

函数计算平台默认提供的按量GPU实例使用方式，会自动管理GPU计算资源。根据业务的请求数量，自动弹性GPU实例，最低0个实例，最大可配置实例数量。 规格最优 函数计算平台提供的GPU实例规格，根据业务需求，选择卡型并配置使用的显存和内存的大小，为您提供最贴合业务的实例规格。 成本最优

查看更多 →

不同区域支持的AI引擎有差异，请以实际环境为准。 推理支持的AI引擎 在ModelArts创建AI应用时，若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像

查看更多 →

训练环境中不同规格资源“/cache”目录的大小 在创建训练作业时可以根据训练作业的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 k8s磁盘的驱逐策略是90%，

查看更多 →

创建单机多卡的分布式训练（DataParallel） 本章节介绍基于PyTorch引擎的单机多卡数据并行训练。 MindSpore引擎的分布式训练参见MindSpore官网。 训练流程简述 单机多卡数据并行训练流程介绍如下： 将模型复制到多个GPU上 将一个Batch的数据均分到每一个GPU上

查看更多 →

，打开指定的TCP端口。 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

查看更多 →

文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI

查看更多 →