部署上线
通常模型部署和规模化落地非常复杂。ModelArts支持将模型部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。
将模型部署为实时推理作业
将模型部署为一个Web Service,并且提供在线的测试UI与监控能力。
- 训练模型:可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。
- 创建模型:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的模型。
- 部署服务:模型构建完成后,根据您的业务场景,选择将模型部署成对应的服务类型。
- 查看在线服务详情:可以获得在线服务API,调用指南等信息。
- 测试服务:使用预测功能测试在线服务,了解模型推理能力。
- 访问在线服务:使用工具调测在线服务API。
将模型部署为批量推理服务
批量服务可对批量数据进行推理,完成数据处理后自动停止。
- 训练模型:可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。
- 创建模型:把模型文件和推理文件导入到ModelArts的模型仓库中,进行版本化管理,并构建为可运行的模型。
- 部署服务:模型构建完成后,根据您的业务场景,选择将模型部署成对应的服务类型。
- 查看在线服务详情:可以获得在线服务API,调用指南等信息。
将模型部署为边缘服务
通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service。
- 将模型导入至ModelArts,创建模型。
- 将边缘设备纳管至IEF。
- 部署为边缘服务,即将模型部署至纳管的边缘节点中。
- 调测边缘服务API,对部署在边缘节点上的边缘服务发起预测请求。