文档首页 > > 工具指南> 部署上线

部署上线

分享
更新时间:2020/09/11 GMT+08:00

针对训练好的模型,您也可以在ToolKit工具中一键部署为在线服务。

当前仅支持部署为在线服务,不支持部署批量服务和边缘服务。

背景信息

  • 已完成模型训练,且训练作业状态为成功。
  • 针对ModelArts公有云端已有的训练作业,也支持在PyCharm ToolKit工具中一键部署上线。
  • 针对训练好的模型,在部署前,需完成推理脚本及配置文件的开发。推理脚本和配置文件的开发规范请参见模型包规范模型配置文件编写说明模型推理代码编写说明
  • 推理代码和配置文件需存储至模型输出位置。在PyCharm工具中运行的训练作业,其模型输出位置,可双击作业版本,在“ModelArts Training Job”区域中“Training Output Path”参数值即为此训练作业模型输出位置,此路径为OBS路径。
    图1 模型输出位置
  • 部署完成的服务,将呈现在ModelArts管理控制台的“部署上线 > 在线服务”列表中。您也可以在ModelArts管理控制台,管理已部署完成的在线服务,如预测、启停等操作。

部署模型

在完成模型训练,推理代码和配置文件编写,同时,已将推理代码和配置文件上传至对应的OBS路径下,即训练作业输出位置的model目录。您可以执行如下步骤,将模型部署为在线服务。

  1. 在ModelArts Explorer区域对应的训练作业版本中,右键选择“Deploy to Service”
    图2 Deploy to Service
  2. 在弹出的对话框中,填写部署模型所需信息,详细参数说明请参见表1
    表1 部署服务的参数说明

    参数

    说明

    Service Name

    在线服务的名称,请按照界面提示规则填写。

    Auto Stop

    启用该参数并设置时间后,服务将在指定时间后自动停止。

    启用该功能后,默认设置为1小时后自动停止,您也可以根据实际情况设置自动停止的时间,如5小时之后。

    Model Source

    如果您是通过具体训练作业版本启动的部署任务,“Training Job”“Model Path”将自动填写完成。您也可以根据实际情况,去更改配置。

    • “Training Job”:表示训练作业的名称,以及其对应的版本。
    • “Model Path”:表示训练输出模型的存储路径,为OBS路径。

    Specifications

    选择部署在线服务时使用的资源,目前支持“CPU 2核 8GiB”和“CPU:2核 8GiB GPU:1*P4”两种规格。

    Compute Nodes

    设置资源的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。

    Environment Variables

    设置环境变量,注入环境变量到容器实例。多个环境变量使用英文分号隔开。

    图3 设置部署服务的相关参数
  3. 参数填写完成后,单击“OK”启动服务部署。部署任务启动后,工具左下角的“Event Log”实时展示部署状态。

    部署为在线服务耗费时间较长,请耐心等待。部署完成后,将在界面中提供在线服务的链接,您可以单击链接快速跳转至ModelArts管理控制台的在线服务。注意,首次访问时需输入华为云账号密码登录。

    针对部署完成的服务,当前只支持在ModelArts管理控制台(即公有云侧)做预测操作。

    图4 部署状态
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问