MaaS模型部署概述
MaaS本身为用户提供部分模型的预置服务,用户可直接在线体验预置服务或调用预置服务的API。但是MaaS只为部分模型配置了预置服务,当所提供的预置服务无法满足您的实际业务需求时,就需要您自行进行模型部署或模型调优后部署,以满足业务需求。当前MaaS支持在线推理方式。本文通过介绍不同的部署方式,以方便用户结合自身业务场景进行选型。
| 部署方式 | 在线推理-公共资源池 | 在线推理-专属资源池 |
|---|---|---|
| 介绍 | 使用预置模型/已创建模型,部署在公共资源池或专属资源池上。 | 使用预置模型/已创建模型,部署在专属资源池上。 |
| 适用场景 |
|
|
| 资源归属 | 多租户共享 | 单租户独占 |
| 性能稳定性 | 一般(可能受其他租户影响) | 极高(资源独占) |
| 数据安全 | 逻辑隔离 | 物理隔离 |
| 支持的模型 | 预置模型/已创建模型 | 预置模型/已创建模型 |
| 计费方式 | 按需计费。 详情请参考模型部署计费项。 | 包月/包年/包周期(预付费)。专属资源池的费用已在购买时支付,部署服务不再收费。 详情请参考模型部署计费项。 |
操作流程
| 操作步骤 | 说明 |
|---|---|
| 准备OBS桶和资源池 | 部署模型时需要选择公共资源池或专属资源池;创建模型时需要OBS桶存储权重文件。详情请参考准备工作。 |
| 获取模型 | 部署模型服务时,模型来源有预置模型和已创建的模型两种,详情请参考MaaS创建模型。 |
| 模型调优(可选) | 如果已有的模型不满足您的业务要求,您可参考模型调优对模型进行训练。 |
| 部署模型 | 模型准备好之后,参考MaaS部署模型服务把模型部署为“我的服务”。 |
| 在线推理 | 模型服务部署成功后,您可对“我的服务”进行在线体验和调用。 |
在MaaS创建自定义模型、调优模型时,需要在对象存储服务OBS中创建OBS桶,用于存放模型权重文件、训练数据集或者是存放永久保存的日志。
创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。
- 仅“华东二”、“西南-贵阳一”和“华北-乌兰察布一”区域支持使用MaaS。
- OBS桶必须和MaaS服务在同一个Region下,否则无法选择到该OBS路径。
在MaaS进行模型调优或部署时,需要选择资源池。MaaS服务支持专属资源池和公共资源池。
- 专属资源池:专属资源池不与其他用户共享,资源更可控。在使用专属资源池之前,您需要先创建一个专属资源池,然后在AI开发过程中选择此专属资源池。MaaS服务可以使用在ModelArts Standard形态下创建的专属资源池,作业类型选择“训练作业”用于模型调优,选择“模型部署(旧版)”用于模型部署。创建专属资源池的操作指导请参见创建Standard专属资源池。
专属资源池的驱动版本/运行规格请以“部署模型服务”或“创建调优作业”页面的提示为准。具体操作,请参见MaaS部署模型服务或MaaS调优模型。
当专属资源池的驱动版本不适配时,可以参考升级Standard专属资源池驱动升级驱动。
图2 部署模型服务
图3 创建调优作业
- 公共资源池:公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离。MaaS服务可以使用ModelArts公共资源池完成模型训练和推理,按照使用量计费,方便快捷。
资源池必须和MaaS服务在同一个Region下,否则无法选择到该资源池。
常见问题
当服务部署失败时,请参考模型服务部署失败。