更新时间:2021-09-18 GMT+08:00
分享

模型验证

模型验证界面已经预置了模型验证服务,本次不使用,仅供参考。下面会提供端到端的操作流程,帮助用户快速熟悉模型验证界面操作。

  1. 单击菜单栏中的“模型验证”,进入模型验证界面。

    可以看到预置的模型验证任务“hardisk-detect”。

  2. 单击“创建”,弹出如图1所示的对话框。

    配置参数“名称”为验证服务名称,示例:Harddisk。
    图1 创建验证服务

  3. 单击“确定”,进入验证服务详情界面。
  4. 单击界面右上角的图标,进入代码编辑界面。
  5. 在左侧代码目录树中,单击“validation.py”文件,右侧展示文件内容,先清空文件内容。

    打开预置项目“hardisk-detect”中的“validation.py”文件,拷贝文件内容,至当前文件中,并“Ctrl+S”保存文件。

  6. 在左侧目录树中,选中根目录节点“Harddisk”,单击目录树上方的图标,在弹出的“新建文件夹”对话框中,输入目录名称“hardisk”。
  7. 选中新建目录“hardisk”,单击目录树上方的图标,在弹出的“新建文件”对话框中,输入文件名称“utils.py”。

    在左侧目录树中,单击“utils.py”打开文件,拷贝预置项目“hardisk-detect”中同名文件的代码至此文件中,“Ctrl+S”保存文件。

  8. 单击界面右上角的“验证”图标,弹出“验证配置”对话框,如图2所示。

    参数配置说明,如下所示:

    • 指标配置:指标配置于验证用例中,用于和模型实际训练结果比较,以判断验证用例是否通过。

      一个指标需要设置“指标名称”,“指标类型”和“默认值”,如本例中设置“指标名称”为“acc”,“指标类型”为“Float”,“默认值”为“0.9”。完成一个指标设置后单击右侧的“”,可在下方生成该指标。支持设置多个指标。

    • 场景名:验证场景的名字,示例:hardisk_validation。
    • 执行入口:验证任务的主入口文件及方法,请设置为“validation.py”和“model_validation”。
    • 用例:一行配置一个具体的模型包验证用例,需要设置用例名(示例:test)、数据集、数据实例和验证指标值。可单击右侧的图标,设置多条用例。

      本例已写入数据集实例,无需再设置。在其他场景中,可根据实际情况设置。

    • AI引擎:从第一个下拉框中选择AI引擎“TensorFlow”,从第二个下拉框中选择匹配的python语言版本“TF-1.13.1-python3.6”。
    • 计算节点规格:模型验证的资源配置信息。
    图2 验证配置

  9. 单击“保存”,返回模型验证代码编辑界面。
  10. 单击界面右上角的“关闭”图标,返回到验证任务详情界面。

    如果需要修改验证配置,可以单击界面右上方的图标,在弹出的对话框中,修改配置参数。

  11. 单击界面右上方的图标,在弹出的“创建验证任务”对话框内,设置模型包名称,如图3所示。

    图3 创建验证任务

  12. 单击“确定”,系统开始执行验证任务。

    可单击验证任务右侧的图标,查看系统日志、运行结果日志和运行图。

    模型验证结束后,单击验证任务右侧的图标,查看模型验证报告,如图4所示。

    图4 模型验证报告

    图4所示,用例执行结果为PASS,表示模型包验证结果达到预期。“acc指标”列的取值“0.98/0.9”分别为实际运行结果和验证服务配置的阈值。

    单击界面右上角的“返回”,在验证任务详情界面,单击“展示历史指标”,可查看模型包实际运行值的历史折线图,如图5所示。

    图5 模型包历史验证结果

分享:

    相关文档

    相关产品

close