更新时间:2023-10-30 GMT+08:00
分享

添加评估结果

训练作业运行结束后,ModelArts将自动为您的模型进行评估,并且给出调优诊断和建议,详细功能描述请参见评估结果

  • 针对使用预置算法创建训练作业,无需任何配置,即可查看此评估结果。
  • 针对用户自己编写训练脚本或自定义镜像方式创建的训练作业,则需要在您的训练代码中添加评估代码,才可以在训练作业结束后查看相应的评估诊断建议。
    1. 只支持验证集的数据格式为图片
    2. 目前,仅如下常用框架的训练脚本支持添加评估代码。
      • TF-1.13.1-python3.6
      • TF-2.1.0-python3.6
      • PyTorch-1.4.0-python3.6

本章节介绍如何在训练中使用评估代码。对训练代码做一定的适配和修正,分为三个方面:添加输出目录拷贝数据集到本地映射数据集路径到OBS

添加输出目录

添加输出目录的代码比较简单,即在代码中添加一个输出评估结果文件的目录,被称为train_url,也就是页面上的训练输出位置。并把train_url添加到使用的函数analysis中,使用save_path来获取train_url。示例代码如下所示:

拷贝数据集到本地

拷贝数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据拷贝到本地再进行操作。

数据集拷贝有两种方式,推荐使用OBS路径进行处理拷贝。

  • OBS路径(推荐)

    直接使用moxing的copy_parallel接口,拷贝对应的OBS路径。

  • ModelArts数据管理中的数据集(即manifest文件格式)

    使用moxing的copy_manifest接口将文件拷贝到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。

映射数据集路径到OBS

由于最终JSON体中需要填写的是图片文件的真实路径,也就是OBS对应的路径,所以在拷贝到本地做完分析和评估操作后,需要将原本的本地数据集路径映射到OBS路径,然后将新的list送入analysis接口。

如果使用的是OBS路径作为输入的data_url,则只需要替换本地路径的字符串即可。

如果使用manifest文件,需要再解析一遍原版的manifest文件获取list,然后再送入analysis接口。

完整的适配了训练作业创建的图像分类样例代码如下:

分享:

    相关文档

    相关产品