更新时间:2023-09-05 GMT+08:00

推理简介

AI模型开发完成后,在ModelArts服务中可以将AI模型创建为AI应用,将AI应用快速部署为推理服务,您可以通过调用API的方式把AI推理能力集成到自己的IT平台。

图1 推理简介
  • 开发模型:模型开发可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。
  • 创建AI应用:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的AI应用。
  • 部署服务:把AI应用在资源池中部署为容器实例,注册外部可访问的推理API。
  • 推理:在您的应用中增加对推理API的调用,在业务流程中集成AI推理能力。

部署服务

在完成AI应用的创建后,可在“部署上线”页面对AI应用进行部署。ModelArts当前支持如下几种部署类型:
  • 在线服务

    将AI应用部署为一个Web Service,并且提供在线的测试UI与监控功能。

  • 批量服务

    批量服务可对批量数据进行推理,完成数据处理后自动停止。