模型验证

模型验证界面已经预置了模型验证服务，本次不使用，仅供参考。下面会提供端到端的操作流程，帮助用户快速熟悉模型验证界面操作。

单击菜单栏中的“模型验证”，进入模型验证界面。
可以看到预置的模型验证任务“hardisk-detect”。
单击“创建”，弹出如图1所示的对话框。

配置参数“名称”为验证服务名称，示例：Harddisk。
图1 创建验证服务
单击“确定”，进入验证服务详情界面。
单击界面右上角的图标，进入代码编辑界面。
在左侧代码目录树中，单击“validation.py”文件，右侧展示文件内容，先清空文件内容。
打开预置项目“hardisk-detect”中的“validation.py”文件，拷贝文件内容，至当前文件中，并“Ctrl+S”保存文件。
在左侧目录树中，选中根目录节点“Harddisk”，单击目录树上方的图标，在弹出的“新建文件夹”对话框中，输入目录名称“hardisk”。
选中新建目录“hardisk”，单击目录树上方的图标，在弹出的“新建文件”对话框中，输入文件名称“utils.py”。
在左侧目录树中，单击“utils.py”打开文件，拷贝预置项目“hardisk-detect”中同名文件的代码至此文件中，“Ctrl+S”保存文件。
单击界面右上角的“验证”图标，弹出“验证配置”对话框，如图2所示。
参数配置说明，如下所示：
- 指标配置：指标配置于验证用例中，用于和模型实际训练结果比较，以判断验证用例是否通过。
  一个指标需要设置“指标名称”，“指标类型”和“默认值”，如本例中设置“指标名称”为“acc”，“指标类型”为“Float”，“默认值”为“0.9”。完成一个指标设置后单击右侧的“”，可在下方生成该指标。支持设置多个指标。
- 场景名：验证场景的名字，示例：hardisk_validation。
- 执行入口：验证任务的主入口文件及方法，请设置为“validation.py”和“model_validation”。
- 用例：一行配置一个具体的模型包验证用例，需要设置用例名（示例：test）、数据集、数据实例和验证指标值。可单击右侧的图标，设置多条用例。
  本例已写入数据集实例，无需再设置。在其他场景中，可根据实际情况设置。
- AI引擎：从第一个下拉框中选择AI引擎“TensorFlow”，从第二个下拉框中选择匹配的python语言版本“TF-1.13.1-python3.6”。
- 计算节点规格：模型验证的资源配置信息。
图2 验证配置
单击“保存”，返回模型验证代码编辑界面。
单击界面右上角的“关闭”图标，返回到验证任务详情界面。
如果需要修改验证配置，可以单击界面右上方的图标，在弹出的对话框中，修改配置参数。
单击界面右上方的图标，在弹出的“创建验证任务”对话框内，设置模型包名称，如图3所示。

图3 创建验证任务
单击“确定”，系统开始执行验证任务。
可单击验证任务右侧的图标，查看系统日志、运行结果日志和运行图。

模型验证结束后，单击验证任务右侧的图标，查看模型验证报告，如图4所示。

图4 模型验证报告

如图4所示，用例执行结果为PASS，表示模型包验证结果达到预期。“acc指标”列的取值“0.98/0.9”分别为实际运行结果和验证服务配置的阈值。

单击界面右上角的“返回”，在验证任务详情界面，单击“展示历史指标”，可查看模型包实际运行值的历史折线图，如图5所示。

图5 模型包历史验证结果