模型训练使用流程
AI模型开发的过程,称之为Modeling,一般包含两个阶段:
- 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。
- 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。
两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001965756236.png)
ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。
请参考以下指导在ModelArts Standard上训练模型。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001965596460.png)
操作任务 |
子任务 |
说明 |
---|---|---|
准备工作 |
准备训练代码 |
模型训练必备要素包括训练代码、训练框架、训练数据。
训练代码包含训练作业的启动文件或启动命令、训练依赖包等内容。
|
准备训练框架(即训练镜像) |
模型训练有多种训练框架来源,具体可以参考准备模型训练框架。
|
|
准备训练数据 |
训练数据除了训练数据集,也可以是预测模型。在创建训练作业前,需要先准备好训练数据。
|
|
创建调试训练作业 |
调试训练作业 |
模型训练前,一般会先对代码进行调试,ModelArts提供多种方式创建调试训练作业。
|
创建算法 |
创建算法 |
创建生产训练作业之前,需要先准备算法,可以是用户自己准备的算法,也可以使用从AI Gallery订阅的算法。 |
创建生产训练作业 |
创建简单训练作业 |
|
训练作业进阶功能 |
ModelArts Standard还支持以下训练进阶功能,例如:
|
|
查看训练结果和日志 |
查看训练作业详情 |
训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 |
查看训练作业日志 |
训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出行的问题。 |
创建方式 |
适用场景 |
---|---|
使用预置框架创建训练作业 |
如果您已在本地使用一些常用框架完成算法开发,您可以选择常用框架,创建训练作业来构建模型 |
使用自定义镜像创建训练作业 |
如果您开发算法时使用的框架并不是常用框架,您可以将算法构建为一个自定义镜像,通过自定义镜像创建训练作业。 |
使用已有算法创建训练作业 |
算法管理中,管理了用户自己创建的算法和AI Gallery订阅的算法,您可以使用算法管理中的算法,快速创建训练作业,构建模型。 |
使用订阅算法创建训练作业 |
AI Gallery中提供了现成的算法,供用户使用,您可以直接订阅AI Gallery中的算法,快速创建训练作业,构建模型。 |