更新时间:2024-08-16 GMT+08:00
推理部署使用场景
AI模型开发完成后,在ModelArts服务中可以将AI模型创建为AI应用,将AI应用快速部署为推理服务,您可以通过调用API的方式把AI推理能力集成到自己的IT平台,或者批量生成推理结果。
图1 推理简介
![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001953791202.png)
- 训练模型:可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。
- 创建AI应用:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的AI应用。
- 部署服务:AI应用构建完成后,根据您的业务场景,选择将模型部署成对应的服务类型。
- 将模型部署为实时推理作业
将AI应用部署为一个Web Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。
- 将模型部署为批量推理服务
批量服务可对批量数据进行推理,完成数据处理后自动停止。
图2 不同类型的推理作业使用场景
- 将模型部署为实时推理作业