训练作业找不到GPU 问题现象 训练作业运行出现如下报错： failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 原因分析 根据错误信息判断，报错原因为训练作业运行程序读取不到GPU。

查看更多 →

GPU卡 GPU时钟频率 cce_gpu_memory_clock GPU卡 GPU显存频率 cce_gpu_graphics_clock GPU卡 GPU图形处理器频率 cce_gpu_video_clock GPU卡 GPU视频处理器频率 物理状态数据 cce_gpu_temperature

查看更多 →

CCE AI套件（NVIDIA GPU） 插件介绍 CCE AI套件（NVIDIA GPU）插件是支持在容器中使用GPU显卡的设备管理插件，集群中使用GPU节点时必须安装本插件。 字段说明 表1 参数描述 参数 是否必选 参数类型 描述 basic 是 object 插件基础配置参数。

查看更多 →

制作 自定义镜像 并用于训练（Pytorch+CPU/GPU）：本案例介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是Pytorch，训练使用的资源是CPU或GPU。 示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU）：本案例

查看更多 →

GPU业务迁移至昇腾训练推理 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导 基于advisor的昇腾训练性能自助调优指导

查看更多 →

AIGC模型训练推理 FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.911） FLUX.1基于DevSever适配PyTorch NPUFintune&Lora训练指导（6.3.911） Llama 3.2-Vision基于DevServer适配Pytorch

查看更多 →

图1 训练作业的自定义镜像制作流程 场景一：预置镜像满足ModelArts训练平台约束，但不满足代码依赖的要求，需要额外安装软件包。 具体案例参考使用预置镜像制作自定义镜像用于训练模型。 场景二：已有本地镜像满足代码依赖的要求，但是不满足ModelArts训练平台约束，需要适配。

查看更多 →

训练任务 Octopus平台为用户提供训练任务管理（支持分布式训练），任务实时日志，产物（模型）管理等多种功能。 创建训练任务 在左侧菜单栏中单击“训练服务 > 训练任务”。 单击“新建训练任务”，填写基本信息。 图1 新建训练任务 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。

查看更多 →

AI平台安装部署 ai安装包解压 将获取到的pie-engine-ai安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/PieEngine/下，执行以下命令进入该目录： cd /home/PieEngine/ 执行如下命令进行解压。 tar -zxvf 文件名

查看更多 →

应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。

查看更多 →

面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储

查看更多 →

基于ModelArts Standard运行GPU训练作业 在ModelArts Standard上运行GPU训练作业的场景介绍 在ModelArts Standard运行GPU训练作业的准备工作 在ModelArts Standard上运行GPU单机单卡训练作业 在ModelArts St

查看更多 →

CCE AI套件（NVIDIA GPU）版本发布记录 表1 CCE AI套件（NVIDIA GPU）版本记录 插件版本 支持的集群版本 更新特性 2.7.19 v1.28 v1.29 v1.30 修复nvidia-container-toolkit CVE-2024-0132容器逃逸漏洞

查看更多 →

训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（

查看更多 →

AI平台咨询与规划服务 基于华为云AI平台，结合客户业务场景，提供AI平台规划设计可行性分析和场景化建模可行性分析服务。 工作说明书 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型的训练和部署。依

查看更多 →

节点管理 容错Failover 当节点具有该污点时，会将节点上容错（Failover）业务迁移走。 当节点标记该污点时，会将节点上容错（Failover）业务迁移走。 A050931 训练toolkit 预检容器 训练预检容器检测到GPU错误。 训练预检容器检测到GPU错误。 A050932

查看更多 →

面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储

查看更多 →

从0制作自定义镜像并用于训练（PyTorch+CPU/GPU） PyTorch 镜像制作 自定义镜像训练 - 此案例介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 从0制作自定义镜像并用于训练（MPI+CPU/GPU）

查看更多 →

网络结构及模型参数配置2 模型训练 模型训练多维度可视化监控，包括训练精度/损失函数曲线、GPU使用率、训练进度、训练实时结果、训练日志等。 图15 训练指标和中间结果可视化 图16 训练过程资源监控 支持多机多卡环境下的模型分布式训练，大幅度提升模型训练的速度，满足海量样本数据加速训练的需求。 图17

查看更多 →

使用Kubeflow和Volcano实现典型AI训练任务 Kubernetes已经成为云原生应用编排、管理的事实标准， 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务，开发者非常愿意基于Kubernetes构建AI平台，充分利用Kubernete

查看更多 →