文档首页 > > AI工程师用户指南> 部署模型> 在线服务> 部署为在线服务

部署为在线服务

分享
更新时间:2020/09/21 GMT+08:00

模型准备完成后,您可以将模型部署为在线服务,对在线服务进行预测和调用。

用户最多可创建20个在线服务。

前提条件

  • 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。
  • 由于在线运行需消耗资源,确保账户未欠费。

操作步骤

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线 > 在线服务”,默认进入“在线服务”列表。
  2. “在线服务”列表中,单击左上角“部署”,进入“部署”页面。
  3. “部署”页面,填写在线服务相关参数,然后单击“下一步”
    1. 填写基本信息,详细参数说明请参见表1
      表1 基本信息参数说明

      参数名称

      说明

      “计费模式”

      当前仅支持“按需计费”,不支持修改。

      “名称”

      在线服务的名称,请按照界面提示规则填写。

      “是否自动停止”

      启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”

      目前支持设置为“1小时后”“2小时后”“4小时后”“6小时后”“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。

      “描述”

      在线服务的简要说明。

      图1 部署在线服务基本信息
    2. 填写资源池和模型配置等关键信息,详情请参见表2
      表2 参数说明

      参数名称

      子参数

      说明

      “资源池”

      “公共资源池”

      公共资源池有CPU或GPU两种规格,不同规格的资源池,其收费标准不同,详情请参见价格详情说明。当前仅支持按需付费模式。

      “资源池”

      “专属资源池”

      创建专属资源池请参见创建专属资源池。您可以在资源池规格中选择对应的规格进行使用。

      “选择模型及配置”

      “模型列表”

      系统自动关联模型管理中可用的模型列表,选择状态“正常”的模型及版本。

      “分流”

      设置当前实例节点的流量占比。

      如您仅部署一个版本模型,请设置为100%。如您添加多个版本进行灰度发布,多个版本分流之和设置为100%。

      “计算节点规格”

      当选择“公共资源池”时,可根据您的实际情况选择CPU或GPU资源。详细规格说明请参见表3

      “计算节点个数”

      设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。

      “添加模型版本进行灰度发布”

      ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。

      说明:

      如果您选择的模型当前只有一个版本,则界面上不会出现添加模型版本进行灰度发布。

      数据采集

      -

      默认关闭。如需开启此功能,请参见采集数据了解详情并根据实际情况进行设置。

      难例筛选

      -

      默认关闭。如需开启此功能,请参见采集数据了解详情并根据实际情况进行设置。

      支持APP认证

      APP授权配置

      默认关闭。如需开启此功能,请参见访问在线服务(APP认证)了解详情并根据实际情况进行设置。

      订阅消息

      -

      订阅消息使用消息通知服务,在事件列表中选择需要监控的资源池状态,在事件发生时发送消息通知。

      表3 支持的规格说明

      规格

      说明

      [限时免费] CPU:1核 4GiB

      [限时免费] CPU:1核 4GiB GPU:P4

      免费规格,适合入门开发者进行体验,有数量和运行时间的限制。可适用于自动学习和其他方式导入的模型。

      自动学习规格(CPU)

      自动学习规格(GPU)

      仅适用于自动学习项目中训练得到的模型。只有当“模型列表”中自动学习项目生成的模型时,才可以查看到此规格。

      CPU:2 核 8 GiB

      适合纯CPU类型的负载运行的模型。

      CPU:2 核 8 GiB GPU:1*P4

      CPU:8 核 32 GiB GPU:1 * P4

      适合CPU+GPU类型模型的运行,带有1个Nvidia P4卡。

      CPU:2 核 8 GiB GPU:1 * 0.25P4

      CPU:4 核 16 GiB GPU:2 * 0.25P4

      适合需要GPU资源但是要求不高的模型,使用虚拟化技术共享GPU节约成本,GPU类型是Nvidia P4。

      CPU:2 核 8 GiB GPU:1 * 0.25T4

      CPU:4 核 16 GiB GPU:2 * 0.25T4

      适合需要GPU资源但是要求不高的模型,使用虚拟化技术共享GPU节约成本,GPU类型是Nvidia T4。此规格仅支持在“华北-北京四”区域使用。

      ARM:3 核 6 GiB Ascend: 1 * Ascend 310

      带有1个Ascend 310芯片,适合需要Ascend 310芯片资源的模型。此规格仅支持在“华北-北京四”区域使用。

      图2 设置模型配置相关信息
    3. 完成参数填写后,单击“下一步”
  4. “规格确认”页面,确认填写信息无误后,单击“提交”,完成在线服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,训练时间将耗时几分钟到几十分钟不等。

    在线服务部署完成后,将立即启动,运行过程中将按照您选择的资源按需计费。

    您可以前往在线服务列表,查看在线的基本情况。在在线服务列表中,刚部署的服务“状态”“部署中”,当在线服务的“状态”变为“运行中”时,表示服务部署完成。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问