文档首页 > > AI工程师用户指南> 管理模型> 评估和诊断模型> 模型评估简介

模型评估简介

分享
更新时间:2020/10/15 GMT+08:00

在模型导入ModelArts之后,您可以通过模型的评估/诊断来判断模型是否满足业务要求。

模型评估的作用

针对不同类型模型的评估任务,提供相应的评估指标,在展示评估结果的同时,会根据不同的数据特征对模型进行详细的评估,获得每个数据特征对评估指标的敏感度,并给出优化建议。使得用户可以全面了解模型对不同数据特征的适应性,使得模型调优可以做到有的放矢。

针对预置算法或者添加了评估代码的训练作业,可以在训练结束后查看评估结果。详细指导和说明请参见评估结果

图1 模型评估

关于评估作业和作业版本

  • 一个评估作业可以包含多个版本。
  • 在同一作业中,您可以更改数据集或评估代码,创建一个新的版本。
  • 一个评估作业版本,运行成功后可生成一个评估结果。您可以在版本管理下的评估结果页面查看各类评估指标对应的评估结果。

模型评估使用限制

  • 模型评估/诊断目前支持三种类型的模型和数据集:“图像分类”“物体检测”“图像分割”
  • 进行评估/诊断的模型,使用的AI引擎为TensorFlow或PyTorch。目前只支持使用“TF-1.13.0-python3.6”“TF-2.1.0-python3.6”“PyTorch-1.4.0-python3.6”引擎编写评估代码。
  • 只支持使用GPU资源。且资源池当前仅支持单节点运行模式,暂不支持分布式。
  • 自动学习生成的模型暂时不支持模型评估。
  • 由ModelArts提供的TensorFlow预置算法可以通过配置参数来设定训练后使用评估,或者导入到模型管理模块之后创建评估作业。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问