更新时间:2021-09-18 GMT+08:00
分享

创建验证任务

验证任务主要是对指定的模型包,基于调试好的验证代码,设置验证用例和计算资源,执行验证任务,验证该模型包的优劣。

配置验证任务的入口:

  • 在验证代码编辑页面,单击右上角的“验证”,弹出“验证配置”对话框,配置“验证配置”对话框参数。如果已经配置过验证参数,后续单击“验证”则直接弹出模型包选择弹窗。
  • 在验证服务详情页面,单击右上角的,弹出“验证配置”对话框,配置“验证配置”对话框参数。
  • 在模型验证页面,单击右上角的,弹出“验证配置”对话框,配置“验证配置”对话框参数。

此处以在验证服务详情页面进行验证配置为例,配置方法如下。

  1. 在验证服务详情页面,单击右上角的“”。

    弹出“验证配置”对话框,如图1所示。参数配置如表1所示。

    图1 验证配置
    表1 验证配置参数说明

    参数名称

    参数说明

    指标配置

    指标是模型训练精度参数,配置在验证用例中以判断模型包的优劣。如果模型包实际训练精度指标值大于用例中指定的指标值,则验证通过;如果模型包实际训练精度指标值小于用例中指定指标值,则验证不通过。

    指标配置包含:

    • “指标名称”:指标的名称,不能为空。
    • “指标类型”:指标值类型,可选择“Float”、“int”、“String”。
    • “默认值”:指标的默认值,指标添加成功后 ,用例中自动增加指标及其默认值。

    完成指标配置后,单击右侧“”,添加配置的指标。可设置多个指标。

    场景名

    当前验证场景名字。

    执行入口

    下拉框从左至右依次为验证算法文件及算法文件中的方法名。

    用例

    执行用例,一个用例对应一个验证结果,一个验证任务可包含多个用例。

    一条用例包含:

    • “用例名”:用例名字,不能为空。
    • “描述”:用例的描述信息。
    • “数据集”:用例选用的验证数据集。
    • “数据实例”:用例选用的验证数据集对应的数据集实例。
    • acc:指标,按照指标配置中的指标名称展示名称和默认值,默认值可修改。

    AI引擎

    AI引擎及AI引擎的版本。

    计算节点规格

    系统提供的计算节点资源。

  2. 单击“保存”,保存验证任务参数配置。
  3. 单击“”,在弹出的“创建验证任务”对话框内选择待验证的模型包,单击“确定”。

    系统自动执行验证任务,用户可以直接在验证服务详情页面查看验证任务,或者单击“”进入验证代码编辑页面,单击验证代码编辑页面右上角,查看验证任务的执行情况:
    • :验证任务执行过程中,动态查看验证任务的系统日志、运行日志和运行图。
    • :验证任务结束后,查看验证任务的验证报告。验证报告展示验证任务中,所有用例的执行结果,通过指标列可以查看模型包实际运行结果指标值和用例配置的指标阈值。如果实际运行结果指标值大于用例配置指标阈值,则用例执行结果为“PASS”,反之则为“FAILED”。

    在验证任务执行过程中,用户可以单击停止任务。

相关文档