中的文件下载到训练容器的本地代码目录中。 下载：表示系统会在启动训练作业时自动将输出数据的存储位置中的所有文件下载到训练容器的本地代码目录中。下载时间会随着文件变大而变长，为了防止训练时间过长，请及时清理训练容器的本地代码目录中的无用文件。如果要使用断点续训练和增量训练，则必须选择“下载”。

查看更多 →

ModelArts支持哪些AI框架？ ModelArts的开发环境Notebook、训练作业、模型推理（即AI应用管理和部署上线）支持的AI框架及其版本，不同模块的呈现方式存在细微差异，各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包括MindS

查看更多 →

）保存和加载。训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU 服务器 ），集群中的服务器访问的数据来自一个统一的数据源，即一个

查看更多 →

）保存和加载。训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个

查看更多 →

性能调优可以先将重点放在NPU不亲和的问题处理上，确保一些已知的性能问题和优化方法得到较好的应用。通用的训练任务调优、参数调优可以通过可观测数据来进行分析与优化，一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段，考虑到门槛较高，可以联系华为工程师获得帮助。

查看更多 →

手动安装GPU加速型E CS 的GRID驱动。 如果需要实现计算加速能力，则需要安装Tesla驱动。 使用公共镜像创建的计算加速型（P系列）实例默认已安装特定版本的Tesla驱动。 使用私有镜像创建的GPU加速型实例，如需安装Tesla驱动请参考手动安装GPU加速型ECS的Tesla驱动。

查看更多 →

至关重要的。 精度校验 迁移之后的精度校验工作是以CPU/GPU环境训练过程作为标杆的，这里的前提是在迁移前，模型已经在CPU/GPU环境达到预期训练结果。在此基础上，迁移过程的精度问题一般包括： loss曲线与CPU/GPU差异不符合预期。 验证准确度与CPU/GPU差异不符合预期。

查看更多 →

Standard模型训练 使用AI Gallery的订阅算法实现花卉识别 使用ModelArts Standard自定义算法实现手写数字识别 示例：从0到1制作 自定义镜像 并用于训练（PyTorch+CPU/GPU） 示例：从0到1制作自定义镜像并用于训练（MPI+CPU/GPU） 示例：从

查看更多 →

GPU函数管理 Serverless GPU使用介绍 部署方式 函数模式

查看更多 →

执行cat /proc/xgpu/{GPU卡序号}/meminfo，注意替换命令中的{GPU卡序号}为步骤2获取的GPU卡序号，观测GPU虚拟化的可用显存。 比较步骤2和步骤3的可用显存。 由于GPU厂商的驱动程序，本身就会占用一定量的物理显存，量级在300MB左右，这属于正常现象。例如Tesla

查看更多 →

训练环境中不同规格资源“/cache”目录的大小 在创建训练作业时可以根据训练作业的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 k8s磁盘的驱逐策略是90%，

查看更多 →

，打开指定的TCP端口。 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证 云服务器 等实例的网络安全。 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

查看更多 →

G系列弹性云服务器GPU驱动故障 问题描述 在Windows系统的G系列弹性云服务器中，无法打开NVIDIA 控制面板，GPU驱动无法使用或GPU驱动显示异常。 可能原因 GPU驱动状态异常。 处理方法 打开Windows设备管理器，在显示适配器中查看GPU驱动状态。 GPU驱动显示

查看更多 →

示例：从0到1制作自定义镜像并用于训练 示例：从0到1制作自定义镜像并用于训练（PyTorch+CPU/GPU） 示例：从0到1制作自定义镜像并用于训练（MPI+CPU/GPU） 示例：从0到1制作自定义镜像并用于训练（Horovod-PyTorch+GPU） 示例：从0到1制作自定义镜像并用于训练（MindSpore+GPU）

查看更多 →

训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（

查看更多 →

cn/Download/index.aspx?lang=cn。 图2 驱动下载页面 填写产品信息并单击“搜索”，可跳转至驱动的最新版本下载页面。 图3 最新版本驱动 您可以通过“发布重点”获取该驱动版本更新或解决的问题，用于判断是否进行升级。 父主题： 操作系统故障类

查看更多 →

该案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者完成“图像分类”的AI模型的训练和部署。 开发工具样例列表 表2 Notebook样例列表 样例 镜像 对应功能 场景 说明 本地开发的MindSpore模型迁移至云上训练 MindSpore PyCharm ToolKit工具

查看更多 →

yaml 使用GPU训练 TFJob可在GPU场景下进行，该场景需要集群中包含GPU节点，并安装合适的驱动。 在TFJob中指定GPU资源。 创建tf-gpu.yaml文件，示例如下： 该示例的主要功能是基于Tensorflow的分布式架构，利用卷积神经网络（CNN）中的ResNet

查看更多 →

由于NPU和GPU生成的随机数不一样，需要固定二者的随机数再进行精度对比。通常的做法是先用GPU单卡跑一遍训练，生成固定下来的随机数。然后NPU和GPU都用固定的随机数进行单机8卡训练，比较精度。 训练精度对齐。对齐前2000步的loss，观察loss在极小误差范围内。 GPU环境下，

查看更多 →

FlavorResponse objects 训练作业资源规格列表。 表4 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type

查看更多 →

不同机型的对应的软件配套版本 由于弹性集群资源池可选择弹性裸金属或弹性云服务器作为节点资源，不同机型的节点对应的操作系统、适用的CCE集群版本等不相同，为了便于您制作镜像、升级软件等操作，本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器

查看更多 →