更新时间:2021-09-18 GMT+08:00
分享

异步推理

用户的模型推理时间过长时,可能会导致推理超时,此时可以使用异步推理任务来执行线上推理,通过异步推理任务ID查询推理结果,解决推理超时问题。

使用模型训练服务模型包进行异步推理

以使用硬盘检测模板创建的项目为例,介绍如何在模型训练服务上训练模型包及完成后续的异步推理操作。硬盘检测模板中已预置数据集,特征处理、模型训练等大部分操作,用户实际使用时大多创建非模板项目,需要完成从数据集、特征工程到模型训练等整个流程的所有操作,如需了解模型训练服务使用的全流程,请参考《快速入门》。

操作步骤如下。

  1. 在模型训练服务首页单击页面上方“创建项目”区域内的“硬盘检测”对应的“使用模板创建”。
  2. 在弹出的“创建项目”页面上设置项目信息,单击“创建”。

    系统自动创建硬盘检测模型项目,创建完毕后,自动进入项目概览页面。

  3. 单击项目概览页面上方菜单栏中的“模型训练”,进入模板预置的模型训练工程。
  4. 在模型训练工程详情页面上单击“”,进入训练任务配置页面。

    硬盘检测模板已经预置训练代码及推理代码,故此处跳过代码文件创建及代码编辑操作。如果是用户手动创建训练项目,不包含推理代码文件,需要完成在训练代码目录中增加推理代码文件,编辑推理代码,在训练代码文件中编辑训练代码等操作。

  5. 使用默认配置,单击“开始训练”。
  6. 训练结束,训练任务状态变为“FINISHED”后,单击训练任务对应的“”,查看优化报告。
  7. 单击“详情”页签,该页面按照评估值从大到小展示迭代训练结果,单击其中一个结果,如第一行最优训练结果对应的“”,再次加入训练。
  8. 单击优化报告页面右上方的“返回”,返回模型训练任务详情页面,等待最优模型训练结束。
  9. 最优模型训练结束,训练任务状态变为“FINISHED”后,单击训练任务对应的“”,在弹出的“归档”对话框内单击“确定”,打包该模型,作为异步推理的模型包。
  10. 单击“模型管理”,找到用于异步推理任务的模型包,将其“开发环境”切换为WebIDE环境。

    若当前无可用的WebIDE环境,请单击“模型管理”页面上方“开发环境”,创建一个WebIDE环境。

  11. 单击该模型包对应的“”,进入模型包编辑页面。
  12. 展开左侧模型包文件目录,单击“metadata.json”文件。
  13. 将“methods”方法内“type”为“predict”的“invoke_type”值改成“async”并保存,如图1所示。

    图1 修改invoke_type值

  14. 在左侧模型包文件目录空白区域右键单击,选择“NAIE Package”。
  15. 返回“模型管理”页面,单击模型包操作列的“”,发布推理服务。
  16. “发布推理服务”页面参数保持默认即可,单击“确定”。

    推理服务发布大概十分钟,发布成功后,发布图标变成“”。

  17. 单击“”进入推理服务快速验证页面,如图2所示。

    图2 快速验证页面

  18. 单击“快速验证”,系统返回异步任务ID,如图3所示。

    图3 获取异步任务ID

  19. 从“请选择异步任务ID”下拉框中选择18获取到的异步任务ID,再次单击“快速验证”,通过异步任务查询推理结果,如图4所示。

    图4 通过异步任务查询推理结果

    查询结果如图5所示。

    图5 通过异步任务查询到的推理结果

使用外部模型包进行异步推理

如果用户需要在模型训练服务上使用本地模型包进行异步推理,请按如下步骤执行。

用户的本地模型包必须符合模型训练服务模型包规范,并且已在本地完成模型包内“metadata.json”文件的异步推理参数修改。

  1. 单击模型训练服务菜单栏左侧Logo附近的“”,在下拉框中选择“推理”,进入“推理服务”页面。
  2. 在推理服务页面菜单栏中单击“模型仓库”。
  3. 单击模型仓库页面右上方的“导入模型包”。
  4. 在“导入模型包”页面选择待导入模型包,配置模型包名称、版本等信息,单击“导入”,如图6所示。

    导入成功后,模型包将在“模型仓库”页面展示。
    图6 导入模型包

  5. 在“模型仓库”页面单击导入模型包对应的“”,发布推理服务,如图7所示。

    图7 发布推理服务

  6. 在“发布推理服务”页面配置“计算节点规格”等信息,单击“确定”,如图8所示。

    图8 配置推理服务发布信息

  7. 单击推理服务菜单栏的“推理服务”,查看模型包推理服务部署进展,如图9所示。

    图9 推理服务部署

  8. 待推理服务部署完成,左下角部署进展变为“运行中”时,单击快速验证图标“”,进入快速验证页面,如图10所示。

    图10 进入快速验证页面

  9. 在快速验证页面单击“快速验证”,得到异步任务ID,如图11所示。

    图11 异步任务ID获取

  10. 在“请选择异步任务ID”下拉框中选择异步任务ID,再次单击“快速验证”,得到推理结果,如图12所示。

    图12 通过异步任务ID查询推理结果

分享:

    相关文档

    相关产品

close