异步推理

更新时间：2021-09-18 GMT+08:00

用户的模型推理时间过长时，可能会导致推理超时，此时可以使用异步推理任务来执行线上推理，通过异步推理任务ID查询推理结果，解决推理超时问题。

使用模型训练服务模型包进行异步推理

以使用硬盘检测模板创建的项目为例，介绍如何在模型训练服务上训练模型包及完成后续的异步推理操作。硬盘检测模板中已预置数据集，特征处理、模型训练等大部分操作，用户实际使用时大多创建非模板项目，需要完成从数据集、特征工程到模型训练等整个流程的所有操作，如需了解模型训练服务使用的全流程，请参考《快速入门》。

操作步骤如下。

在模型训练服务首页单击页面上方“创建项目”区域内的“硬盘检测”对应的“使用模板创建”。
在弹出的“创建项目”页面上设置项目信息，单击“创建”。

系统自动创建硬盘检测模型项目，创建完毕后，自动进入项目概览页面。
单击项目概览页面上方菜单栏中的“模型训练”，进入模板预置的模型训练工程。
在模型训练工程详情页面上单击“”，进入训练任务配置页面。

说明：

硬盘检测模板已经预置训练代码及推理代码，故此处跳过代码文件创建及代码编辑操作。如果是用户手动创建训练项目，不包含推理代码文件，需要完成在训练代码目录中增加推理代码文件，编辑推理代码，在训练代码文件中编辑训练代码等操作。
使用默认配置，单击“开始训练”。
训练结束，训练任务状态变为“FINISHED”后，单击训练任务对应的“”，查看优化报告。
单击“详情”页签，该页面按照评估值从大到小展示迭代训练结果，单击其中一个结果，如第一行最优训练结果对应的“”，再次加入训练。
单击优化报告页面右上方的“返回”，返回模型训练任务详情页面，等待最优模型训练结束。
最优模型训练结束，训练任务状态变为“FINISHED”后，单击训练任务对应的“”，在弹出的“归档”对话框内单击“确定”，打包该模型，作为异步推理的模型包。
单击“模型管理”，找到用于异步推理任务的模型包，将其“开发环境”切换为WebIDE环境。

说明：

若当前无可用的WebIDE环境，请单击“模型管理”页面上方“开发环境”，创建一个WebIDE环境。
单击该模型包对应的“”，进入模型包编辑页面。
展开左侧模型包文件目录，单击“metadata.json”文件。
将“methods”方法内“type”为“predict”的“invoke_type”值改成“async”并保存，如图1所示。

图1 修改invoke_type值
在左侧模型包文件目录空白区域右键单击，选择“NAIE Package”。
返回“模型管理”页面，单击模型包操作列的“”，发布推理服务。
“发布推理服务”页面参数保持默认即可，单击“确定”。

推理服务发布大概十分钟，发布成功后，发布图标变成“”。
单击“”进入推理服务快速验证页面，如图2所示。

图2 快速验证页面
单击“快速验证”，系统返回异步任务ID，如图3所示。

图3 获取异步任务ID
从“请选择异步任务ID”下拉框中选择18获取到的异步任务ID，再次单击“快速验证”，通过异步任务查询推理结果，如图4所示。

图4 通过异步任务查询推理结果

查询结果如图5所示。

图5 通过异步任务查询到的推理结果