作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）

查看更多 →

示例：从0到1制作 自定义镜像 并用于训练（Horovod-PyTorch+GPU） 示例：从0到1制作自定义镜像并用于训练（MindSpore+GPU） 示例：从0到1制作自定义镜像并用于训练（Tensorflow+GPU） 示例：从 0 到 1 制作自定义镜像并用于训练（MindSpore+Ascend）

查看更多 →

预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： LLama2系列基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

预训练 预训练数据处理 预训练超参配置 预训练任务 断点续训练 查看日志和性能 父主题： Baichuan2-13B基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

模型训练 模型训练中除了数据和算法外，开发者花了大量时间在模型参数设计上。模型训练的参数直接影响模型的精度以及模型收敛时间，参数的选择极大依赖于开发者的经验，参数选择不当会导致模型精度无法达到预期结果，或者模型训练时间大大增加。 为了降低开发者的专业要求，提升开发者模型训练的开发

查看更多 →

训练服务 训练服务简介 算法管理 训练任务 模型评测 编译管理

查看更多 →

文件夹选择完毕后，单击“上传”，算法状态变为“创建中”。 算法文件上传完毕后，单击“上传算法”，同时提示算法已加入上传队列中。 上传中刷新或关闭浏览器会导致文件上传中断，请谨慎操作！ 算法上传成功后，状态变为“创建成功”。 训练算法相关操作 在“算法管理”列表，可对训练算法进行以下操作。

查看更多 →

BP账户能使用 隐私保护通话 服务吗？ 不能。BP账户不能开通和使用隐私保护通话服务。 父主题： 账号相关问题

查看更多 →

是否支持Keras引擎？ 开发环境中的Notebook支持。训练作业和模型部署（即推理）暂时不支持。 Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本

查看更多 →

相关操作 分布式训练调测具体的代码适配操作过程和代码示例请参见分布式调测适配及代码示例章节。 文档还针对Resnet18在cifar10数据集上的分类任务，给出了分布式训练改造(DDP)的完整代码示例，供用户学习参考，具体请参见分布式训练完整代码示例。 父主题： 分布式训练

查看更多 →

断点续训练和增量训练 什么是断点续训练和增量训练 断点续训练是指因为某些原因（例如容错重启、资源抢占、作业卡死等）导致训练作业还未完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 增量训练是指增加新的训练数据到当前训练流程中，扩展当前模型的知识和能力。

查看更多 →

据集上进行评估，评估结果更好的模型参数将会保留。 提取降维之后数据：完成模型训练后，生成降维后的结果数据。 当您在运行AutoGenome示例出现“Warning：restart the kernel and run the notebook again！”时，请单击Notebo

查看更多 →

AI原生应用引擎训练好后的模型如何获取？ 使用模型微调训练好模型后的新模型只能通过模型部署（创建模型服务）上线，无法下载至本地使用。 父主题： AI原生应用引擎

查看更多 →

作流。 在工作流设计页面启动工作流 参考如何登录新版应用设计器中操作，登录新版应用设计器。 在左侧导航栏中，选择“流程”。 单击对应工作流后的，选择“编辑”。 在工作流设计页面，单击页面上方的，启动该工作流。 在工作流设计页面，可以通过如下两者方式启动。 自定义：将工作流的“开始

查看更多 →

创建训练工程、联邦学习工程、训练服务或超参优化服务的用户。 开发环境 模型训练运行的环境信息。WEB版训练模型的开发环境为“简易编辑器”，在线IDE版训练模型的开发环境为实际创建的WEB IDE环境。模型训练工程创建后，可通过“开发环境”下拉框切换环境。 进入训练工程编辑页面，编辑训练代码。 复制已有的训练工程，生成新的训练工程。

查看更多 →

训练前卡死 作业为多节点训练，且还未开始训练时发生卡死，可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码，检查是否有参数中未传入“

查看更多 →

训练中途卡死 问题现象1 检测每个节点日志是否有报错信息，某个节点报错但作业未退出导致整个训练作业卡死。 解决方案1 查看报错原因，解决报错。 问题现象2 作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm，多机会慢，因

查看更多 →

多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下： 图1 训练服务的开发流程 训练服务操作引导如下： 算法管理：负责管理用户上传的符合平台规范的算法。 训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。

查看更多 →

镜像制作（训练） Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件，请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile

查看更多 →

进一步的调优）。 针对用户自己编写训练脚本或自定义镜像方式创建的训练作业，则需要在您的训练代码中添加评估代码，才可以在训练作业结束后查看相应的评估诊断建议。 只支持验证集的数据格式为图片 目前，仅如下常用框架的训练脚本支持添加评估代码。 TF-1.13.1-python3.6 TF-2

查看更多 →

隔离故障节点后，系统会在新的计算节点上重新创建训练作业。如果资源池规格紧张，重新下发的训练作业会以第一优先级进行排队。如果排队时间超过30分钟，训练任务会自动退出。该现象表明资源池规格任务紧张，训练作业无法正常启动，推荐您购买专属资源池补充计算节点。 如果您使用专属资源池创建训练作业，

查看更多 →