AI开发平台ModelArtsAI开发平台ModelArts

更新时间:2021/09/18 GMT+08:00
分享

选择算法简介

机器学习从有限的观测数据中学习一般性的规律,并利用这些规律对未知的数据进行预测。为了获取更准确的预测结果,用户需要选择一个合适的算法来训练模型。针对不同的场景,ModelArts提供大量的的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。

选择算法的实现方式

ModelArts提供如下方式实现云上模型训练。

  • 使用订阅算法

    ModelArts的AI Gallery,发布了较多官方算法,同时管理了其他开发者分享的算法,不需要进行代码开发,即可使用现成的算法进行模型构建。订阅操作请参考使用订阅算法

  • 在支持的预置训练引擎中使用自定义脚本

    如果您需要使用自己开发的算法,可以选择使用ModelArts预置训练引擎。在ModelArts中,这种方式称为“使用自定义脚本”。ModelArts支持了大多数主流的AI引擎,详细请参见预置训练引擎。这些预置引擎预加载了一些额外的python包,例如numpy等;也支持您通过在代码目录中使用“reqiurements.txt”文件安装依赖包。使用自定义脚本创建训练作业请参考使用自定义脚本指导。

  • 使用自定义镜像(新版训练暂不支持,请参考旧版训练功能

    订阅算法和预置训练引擎涵盖了大部分的训练场景。针对特殊场景,ModelArts支持用户构建自定义镜像用于模型训练。自定义镜像需上传至容器镜像服务(SWR),才能用于云上训练。由于自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置引擎无法满足需求,否则不推荐使用。

选择算法的学习方式

ModelArts支持用户根据实际需求进行不同方式的模型训练。

  • 离线学习

    离线学习是训练中最基本的方式。离线学习需要一次性提供训练所需的所有数据,在训练完成后,目标函数的优化就停止了。使用离线学习的优势是模型稳定性高,便于做模型的验证与评估。缺点是时间和空间成本效率低。

  • 增量学习

    增量学习是一个连续不断的学习过程。相较于离线学习,增量学习不需要一次性存储所有的训练数据,缓解了存储资源有限的问题;另一方面,增量学习节约了重新训练中需要消耗大量算力、时间以及经济成本。

分享:

    相关文档

    相关产品