文档首页 > > AI工程师用户指南> 管理模型> 评估和诊断模型> 创建模型评估作业

创建模型评估作业

分享
更新时间:2020/10/15 GMT+08:00

在“模型管理>评估/诊断”页面中,在编写好评估脚本之后,您可以创建评估作业来对模型进行评估。在完成评估之后您可以通过评估作业的评估结果,查看每一次评估的对应指标结果。

使用前必读

  • 由于评估作业运行需消耗资源,确保账户未欠费。
  • 模型评估代码已完成编写,且已上传至OBS目录。同时,确保您使用的OBS与ModelArts在同一区域。
  • 评估代码的启动文件为“.py”格式。
  • 已准备好数据源。已在ModelArts创建数据集,类型为“图像分类”“物体检测”,且数据集已完成发布。或者,已经将“图像分类”“物体检测”“语义分割”的数据集上传至对应的OBS路径。
  • 评估模型的代码编写请参见模型评估接口模型评估代码示例

创建作业

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择模型管理 > 评估/诊断
  2. “评估/诊断”管理页面,单击左上角的“创建”,进入“创建评估作业”页面。
  3. “创建评估作业”页面中,填写基本信息、作业相关信息以及资源池相关信息。
    1. 填写基本信息。
      表1 基本信息

      参数

      说明

      计费模式

      默认为按需计费,不可更改。

      名称

      指定作业名称,用于区分作业。

      版本

      由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。

      描述

      评估作业的简要描述。

      图1 基本信息
    2. 填写作业相关信息。
      表2 评估作业参数说明

      参数

      说明

      模型来源

      模型来源可分为两种:

      • 模型管理:从ModelArts模型管理列表中选择一个可用的模型及其对应版本。下拉框自动显示当前账号下已导入成功的模型。
      • 模型存储位置:即用户将其模型上传至OBS,然后从对应的OBS路径中选择用于评估的模型。

      评估类型

      可选“图像分类”“物体检测”“语义分割”。请根据您的模型适用场景选择评估类型。

      AI引擎

      从右侧下拉框中选择评估作业使用的AI引擎。目前支持“TensorFlow|TF-1.13.1-python3.6”“PyTorch | PyTorch-1.4.0-python3.6”“TensorFlow | TF-2.1.0-python3.6”

      模型评估代码路径

      指定模型评估代码存储路径,此路径为OBS目录。建议在创建作业前,将用于评估模型的代码上传至OBS桶中。

      启动文件

      评估代码存储目录设置完成后,选择目录下评估模型的启动文件。启动文件必须为“.py”格式。

      数据来源

      分为“数据管理”“数据存储位置”2种来源。当评估类型为“图像分类”“物体检测”时,支持从数据管理或数据存储位置选择数据集。当评估类型为“语义分割”时,只支持从数据存储位置选择数据集。

      • “数据管理”即从ModelArts数据管理选择数据集及其对应的版本,要求您选择的数据集类型与评估类型一致。
      • “数据存储位置”即从OBS对应获取数据集,选择对应的OBS路径即可。

      运行参数

      根据上方配置的信息,系统将默认填写对应的model_url和data_url两个参数。

      您可以单击“增加运行参数”,添加评估代码中所需的更多参数设置。

      图2 设置作业相关信息
    3. 设置运行作业使用的资源池及其规格信息。由于目前评估模型的限制,资源池相关参数,可直接使用默认值,不需修改。
      表3 资源池的参数说明

      参数

      说明

      资源池

      目前评估作业只支持使用公共资源池。

      类型

      由于评估模型需要较高性能的资源,因此目前只支持使用GPU类型。

      规格

      目前支持8核64GiB GPU规格。

      计算节点个数

      默认为1。目前仅支持单节点运行模式。

      图3 选择资源池及其规格
  4. 确认填写参数无误后,单击“下一步”
  5. “规格确认”页面,再次确认评估作业的详细参数,确认无误后,单击“提交”完成评估作业的创建。

    评估作业创建后,作业将会开始运行,运行过程需要几分钟时间,请耐心等待。在“评估/诊断”管理页面中,当作业状态显示为“已完成”时,表示已完成评估作业,可单击作业名称,选择对应作业版本查看评估结果。

    由于使用的是公共资源池,当存在较多用户同时提交作业时,可能您的作业将出现“排队中”的状态,表示在等待空闲资源。

后续操作

评估作业创建完成后,您可以执行如下后续操作,帮助您判断模型是否满足业务诉求。

  • 查看评估结果:评估作业创建后将完成一次评估,您可以查看评估作业生成的评估结果,您可以结合相关指标查看评估结果。详细操作请参见查看评估结果
  • 创建新版本:如果第一次评估不满足业务诉求,您可以创建一个新版本,更改数据集或评估代码,再次进行评估。详细操作请参见创建新版本
  • 删除评估作业:如果您创建的评估作业不再需要,为避免资源浪费,您可以删除相应的评估作业。在“评估/诊断”管理页面,选择对应的作业,单击操作列的“删除”,即可删除此作业。由于删除后无法恢复,请谨慎操作。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问