管理在线服务部署的生命周期

添加部署配置

对于已部署的在线服务，可以通过添加部署配置以匹配业务变化，实现服务升级。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 单击目标服务操作列的“更多>添加部署”，进入添加部署页面。
3. 参考部署在线服务-部署配置参数说明配置部署信息。
4. 单击“确认部署”，根据界面提示完成添加部署任务。

修改服务部署的流量权重

针对已有多个部署配置的在线服务，可以通过修改流量权重操作，设置当前服务下部署的流量权重，服务调用请求会根据权重比例动态分配至部署上，单一部署的流量权重数值不得超过100。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 在服务列表中，单击目标服务操作列的“修改流量权重”，设置当前在线服务每个部署的流量权重，然后单击“确定”提交任务。

启动服务部署

您可以对处于“停止”、“失败”状态的服务部署进行启动操作，“部署中”状态的服务无法启动。启动服务部署，部署会处于“运行中”状态。您可以通过如下方式启动部署：

停止服务部署

您可以对处于“运行中”、“异常”状态的部署进行停止操作。您可以通过如下方式停止服务：

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 单击目标服务名称，进入服务详情页面，切换到“部署”页签。
3. 选择要停止的部署卡片，单击“停止”，在提示框中单击“确定”，停止部署。

切换部署运行的在线服务版本

根据业务变化，选择切换部署运行的在线服务版本。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 单击目标服务名称，进入服务详情页面，切换到“部署”页签。
3. 选择要切换运行版本的部署卡片，单击“...>切换运行版本”。
4. 在版本管理弹框中，选择在线服务的目标版本，单击操作列的“切换到此版本”，确认版本对比信息，单击“确定”，切换部署运行的在线服务版本。

   在版本管理弹框中也可对部署版本进行删除操作。不能删除当前部署版本。

中断服务部署

用于中断处于“部署中”状态的服务部署，使其快速停止。当服务部署出现严重故障需要立即修复、资源需要快速释放以部署更高优先级的服务，或在测试环境中需要快速迭代时，用户可中断指定服务部署。

• 若部署为“部署中”状态，执行中断操作，部署状态将变成“停止”，相关资源将被释放，且中断操作将被记录。
• 若部署为“升级中”状态，执行中断操作，部署状态将变成“运行中”。
• 若部署当前状态为用户无权限操作、服务ID无效、版本号不存在或用户无权限，接口将返回相应的错误信息。

中断服务操作步骤：

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 单击目标服务名称，进入服务详情页面，切换到“部署”页签。
3. 选择要中断的部署卡片，单击“中断”，在提示框中单击“确定”，中断部署。

删除服务部署

如果部署配置不再使用，您可以删除部署配置释放资源。

删除操作无法恢复，请谨慎操作。

其他部署操作

• 升级在线服务部署：对于在线服务已添加的部署，您可以通过变更部署配置项来新增部署版本，实现服务部署的升级。
• 扩缩容在线服务部署：当在线服务部署完成，使用一段时间后，由于实际业务的变化，对于在线服务资源量的需求可能会产生变化。面对这种场景，ModelArts支持在线服务部署扩缩容，根据实际负载需求，调整在线服务部署的资源规格或实例数量。
• 克隆在线服务部署：克隆在线服务部署功能通过快速复制已有的在线服务部署配置，根据实际需求修改配置，对在线服务快速添加新的部署。