GPU插件检查异常处理 检查项内容 检查到本次升级涉及GPU插件，可能影响新建GPU节点时GPU驱动的安装。 解决方案 由于当前GPU插件的驱动配置由您自行配置，需要您验证两者的兼容性。建议您在测试环境验证安装升级目标版本的GPU插件，并配置当前GPU驱动后，测试创建节点是否正常使用。

查看更多 →

GPU虚拟化概述 CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。

查看更多 →

String 训练作业的引擎名称。目前支持的引擎名称如下： Ascend-Powered-Engine Caffe Horovod MXNet PyTorch Ray Spark_MLlib TensorFlow XGBoost-Sklearn MindSpore-GPU engine_id

查看更多 →

如何避免非GPU/NPU负载调度到GPU/NPU节点？ 问题现象 当集群中存在GPU/NPU节点和普通节点混合使用的场景时，普通工作负载也可以调度到GPU/NPU节点上，可能出现GPU/NPU资源未充分利用的情况。 问题原因 由于GPU/NPU节点同样提供CPU、内存资源，在一般

查看更多 →

TensorFlow图像分类模板 简介 搭载TensorFlow1.8引擎，运行环境为“python2.7”，适合导入以“SavedModel”格式保存的TensorFlow图像分类模型。该模板使用平台预置的图像处理模式，模式详情参见预置图像处理模式，推理时向模型输入一张“key

查看更多 →

nvidia-smi: command not found 可能原因 云服务器 驱动异常、没有安装驱动或者驱动被卸载。 处理方法 如果未安装GPU驱动，请重新安装GPU驱动。 操作指导请参考：安装GPU驱动 如果已安装驱动，但是驱动被卸载。 执行history，查看是否执行过卸载操作。

查看更多 →

推理基础镜像详情Pytorch（CPU/GPU） ModelArts提供了以下Pytorch（CPU/GPU）推理基础镜像： 引擎版本一：pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 引擎版本二：pytorch_1.8.2-cuda_11

查看更多 →

执行以下命令，查看安装结果。 lspci -d 10de: 图1 安装结果 GPU指标采集需要依赖以下驱动文件，请检查环境中对应的驱动文件是否存在。如果驱动未安装，可参见（推荐）GPU加速型实例自动安装GPU驱动（Linux）。 Linux驱动文件 nvmlUbuntuNvidiaLibraryPath

查看更多 →

使用Kubernetes默认GPU调度 CCE支持在容器中使用GPU资源。 前提条件 创建GPU类型节点，具体请参见创建节点。 集群中需要安装GPU插件，且安装时注意要选择节点上GPU型号对应的驱动，具体请参见CCE AI套件（NVIDIA GPU）。 在v1.27及以下的集群中使用默认GPU调度能力

查看更多 →

TensorFlow-py27通用模板 简介 搭载TensorFlow1.8 AI引擎，运行环境为“python2.7”，内置输入输出模式为未定义模式，请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在

查看更多 →

TensorFlow-py36通用模板 简介 搭载TensorFlow1.8 AI引擎，运行环境为“python3.6”，内置输入输出模式为未定义模式，请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在

查看更多 →

Template来创建相应的Pod。 容器的规格 云容器实例支持使用GPU（必须在GPU类型命名空间下）或不使用GPU。 当前提供3种类型的Pod，包括通用计算型（通用计算型命名空间下使用）、RDMA加速型和GPU加速性（GPU型命名空间下使用）。具体的规格信息请参考约束与限制中的“Pod规格”。

查看更多 →

GPU实例故障分类列表 GPU实例故障的分类列表如表1所示。 表1 GPU实例故障分类列表 是否可恢复故障 故障类型 相关文档 可恢复故障，可按照相关文档自行恢复 镜像配置问题 如何处理Nouveau驱动未禁用导致的问题 ECC错误 如何处理ECC ERROR：存在待隔离页问题 内核升级问题

查看更多 →

如果有DaemonSet工作负载使用了GPU卡，则需要先停止kubelet和containerd运行时服务。 登录需要更新GPU驱动的节点，如192.168.1.xx。 停止服务(containerd运行时) systemctl stop kubelet kubelet-monit containerd containerd-monit

查看更多 →

兼容Kubernetes默认GPU调度模式 开启GPU虚拟化后，默认该GPU节点不再支持使用Kubernetes默认GPU调度模式的工作负载，即不再支持使用nvidia.com/gpu资源的工作负载。如果您在集群中已使用nvidia.com/gpu资源的工作负载，可在gpu-device-p

查看更多 →

代码迁移基础知识 PyTorch官方并不直接支持昇腾的后端，所以官方的版本无法直接利用昇腾设备完成训练加速。当前PyTorch直接支持的后端包括CUDA和AMD ROCm。 PyTorch Adapter作为一个PyTorch“插件”，在已安装PyTorch的基础上安装后，支持

查看更多 →

率，在数据量不是很大的情况下，Fine Tune会是一个比较好的选择。 moxing.tensorflow包含所有的接口，对TensorFlow做了优化，里面的实际接口还是TensorFlow的原生接口。 当非MoXing代码中没有Adam名称范围时，需要修改非MoXing代码，在其中增加如下内容：

查看更多 →

CCE AI套件（NVIDIA GPU）版本发布记录 表1 CCE AI套件（NVIDIA GPU）版本记录 插件版本 支持的集群版本 更新特性 2.6.4 v1.28 v1.29 更新GPU卡逻辑隔离逻辑 2.6.1 v1.28 v1.29 升级GPU插件基础镜像 2.5.6 v1

查看更多 →

Notebook”页面，创建TensorFlow或者PyTorch镜像的开发环境实例。创建成功后，单击开发环境实例操作栏右侧的“打开”，在线打开运行中的开发环境。 TensorBoard可视化训练作业，当前仅支持基于TensorFlow2.1、Pytorch1.4/1.8以上版本镜像

查看更多 →

生成的模型。 步骤4：创建AI应用 在训练作业详情页的右上角单击“创建AI应用”，进入创建AI应用页面。 也可以在ModelArts管理控制台，选择“AI应用管理 > AI应用”，在“我的AI应用”页面，单击“创建”，进入创建AI应用页面。 在创建AI应用页面，系统会自动根据上一

查看更多 →

Notebook”页面，创建TensorFlow或者PyTorch镜像的开发环境实例。创建成功后，单击开发环境实例操作栏右侧的“打开”，在线打开运行中的开发环境。 TensorBoard可视化训练作业，当前仅支持基于TensorFlow2.1、Pytorch1.4/1.8以上版本镜像

查看更多 →