扩缩容在线服务部署

当在线服务部署完成，使用一段时间后，由于实际业务的变化，对于在线服务资源量的需求可能会产生变化。面对这种场景，ModelArts支持在线服务部署扩缩容，根据实际负载需求，调整在线服务部署的资源规格或实例数量。

ModelArts在线服务当前提供两种方式的扩缩容方式，手动扩缩容和自动扩缩容，应对用户多样化的需求。目前只支持对单个部署实例数进行修改。

手动扩缩容：用户可以手动触发在线服务部署扩缩容，支持对单个部署的实例数量进行修改，减少修改实例数的耗时。

自动扩缩容：用户可以设置扩缩容规则，根据设置的规则对实例数进行修改，提高资源利用率。自动扩缩容，用户可以设置合理的扩缩容规则，在高、低峰时间段自动对实例进行扩容或缩容的操作，进而提高资源的利用率。

表1 手动扩缩容和自动扩缩容差异对比
伸缩类型	手动扩缩容	自动扩缩容
配置方式	手动	自动
配置内容	修改实例数	设置扩缩容规则
执行方式	手动配置后执行	定期触发或指标触发
扩缩容失败后的表现	回滚到扩缩容之前的实例个数	按实际扩缩的实例个数为准

约束限制

服务处于停止、运行中、告警状态可以设置扩缩容规则。
每个在线服务最多支持10个周期触发扩缩容规则，添加指标触发扩缩容规则时每个指标最多添加一条。

手动扩缩容

登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
单击目标服务名称，进入服务详情页面，切换到“部署”页签。
选择要扩缩容的部署卡片，单击“…>扩缩容”，进入服务部署“扩缩容”页面。
单击“手动扩缩容”，在弹框中设置扩缩容后的部署副本数。最小值为1。单击“确定”。

可在实例列表查看手动扩缩容后的实例状态。

如果要缩容指定实例，可在实例列表单击操作列的“删除”，在弹框中一键输入DELETE，单击“确定”，删除指定实例。

删除实例后，实例数量将相应减少，该操作无法恢复，请谨慎操作。

自动扩缩容

登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理>在线推理”，进入在线服务管理页面。
单击目标服务名称，进入服务详情页面，切换到“部署”页签。
选择要扩缩容的部署卡片，单击“…>扩缩容”，进入服务部署“扩缩容”页面。

在“自动扩缩容规则”区域单击“配置扩缩容规则”，在弹框中设置自动扩缩容规则。

每个在线服务最多支持10个周期触发扩缩容规则，添加指标触发扩缩容规则时每个指标最多添加一条。

不能添加相同的周期触发类扩容规则。扩缩容规则参数说明请见表2。

表2 扩容规则参数说明
扩容规则类型	参数配置
周期触发	在特定时间段内自动扩缩容节点池下的节点数量，优化资源与需求的匹配，降低成本。触发时间：可选择每天、每周、每月或每年的具体时间点。触发时间基于节点所在时区计算。目标实例数：弹性伸缩后节点池下的节点目标数量。
指标触发	基于指标动态扩缩容节点池下的节点数，提升任务执行效率。使用指标触发需要安装云原生监控插件，可前往插件广场安装插件。实例范围：扩缩容后的实例数范围。实例范围中的最大值默认为与推理服务支持的最大实例个数一致（128），最小值默认为1。指标触发规则仅支持同一实例扩缩范围，若修改，会同步修改已添加的指标触发规则的实例范围。触发指标：触发扩容的指标类型，支持的指标类型请以界面为准。期望值(%)：所选指标期望维持的数值。通过向上取整（当前指标值/期望值x当前实例数）来计算需要伸缩的实例数。高级配置：容忍范围(%)：当指标处于容忍范围内，不会触发扩缩容。容忍范围默认配置为期望值的上下10%，即期望值为60%时，容忍范围为50%-70%。缩容冷却时间(min)：规则成功触发后，在缩容冷却时间内，不会再次触发缩容。取值范围为1-60。扩容冷却时间(min)：规则成功触发后，在扩容冷却时间内，不会再次触发扩容。