推理部署使用场景

AI模型开发完成后，在ModelArts服务中可以将AI模型创建为模型，将模型快速部署为推理服务，您可以通过调用API的方式把AI推理能力集成到自己的IT平台，或者批量生成推理结果。

图1 推理简介

1. 训练模型：可以在ModelArts服务中进行，也可以在您的本地开发环境进行，本地开发的模型需要上传到华为云OBS服务。
2. 创建模型：把模型文件和推理文件导入到ModelArts的模型仓库中，进行版本化管理，并构建为可运行的模型。
3. 部署服务：模型构建完成后，根据您的业务场景，选择将模型部署成对应的服务类型。
   • 将模型部署为实时推理作业

     将模型部署为一个Web Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。

   • 将模型部署为批量推理服务

     批量服务可对批量数据进行推理，完成数据处理后自动停止。

     图2 不同类型的推理作业使用场景