文档首页 > > AI工程师用户指南> 部署模型> 边缘服务> 部署为边缘服务

部署为边缘服务

分享
更新时间:2020/11/24 GMT+08:00

模型准备完成后,您可以将模型部署为边缘服务。在“部署上线>边缘服务”界面,列举了用户所创建的边缘服务。您可以在右上方搜索框中输入服务名称,单击进行查询。边缘服务依赖智能边缘平台(IEF),部署前需要在智能边缘平台上创建边缘节点。

前提条件

  • 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。
  • 已在IEF上创建边缘节点。如果您未创建边缘节点,具体操作请参见创建边缘节点
  • 由于在线运行需消耗资源,确保账户未欠费。

背景信息

  • 边缘服务目前还处于限时免费阶段,运行中的边缘服务,并不会产生费用。
  • 用户最多可创建1000个边缘服务。

部署边缘服务

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
  2. 在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
  3. 在部署页面,填写边缘服务相关参数,然后单击下一步。
    1. 填写基本信息。基本信息包含“名称”“描述”。其中“名称”默认生成。例如:service-bc0d,您也可以根据实际情况填写“名称”“描述”信息。
    2. 填写服务参数。包含资源池、模型配置等关键信息,详情请参见表1
      表1 参数说明

      参数名称

      说明

      “选择模型及配置”

      选择状态“正常”的模型及版本。

      “计算节点规格”

      支持如下几种规格。

      • “CPU:2核 8GiB”:适合纯CPU类型的负载运行的模型。
      • “CPU:2核 8GiB GPU:1*P4”:适合CPU+GPU类型模型的运行,带有1个Nvidia P4卡。
      • “自定义规格”,如果选择自定义规格,可以在参数下方设置您所需的“CPU”“内存配额”“GPU”“Ascend”。其中,“GPU”“Ascend”只能二选一。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。

      “部署方式”

      可选择“节点”“节点组”

      • 如果您在IEF创建的是边缘节点,则选择“节点”。IEF相关说明请参见边缘节点
      • 如果您在IEF创建的是铂金版实例和边缘节点组,则选择“节点组”。需指定对应的铂金版“资源实例”“部署实例个数”。IEF相关说明请参见边缘节点组

      “选择边缘节点”

      边缘节点是您自己的边缘计算设备,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。

      单击选择边缘节点“添加”,在弹出的“添加节点”对话框中选择节点。选择您已创建的节点后,单击“确定”

  4. 完成参数填写后,单击“立即创建”,完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

    您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。

部署边缘服务(Atlas 500)

如果您纳管至IEF的设备是Atlas 500智能小站,将训练好的模型部署至Atlas 500设备中。在开始操作之前,您需要了解如下几点要求。

  • 对模型的要求:仅支持om模型或tflite模型,即支持部署在Ascend或ARM资源的模型。针对不满足格式的模型,必须经过模型转换操作,将模型转换成对应格式。模型转换操作和限制,请参见压缩和转换模型操作
  • 关于固件升级:如果使用AI市场中新版预置算法训练得到的模型,由于此算法适配C32固件,因此将此模型部署至Atlas 500设备时,需下载并升级固件,请参考《Atlas500产品C32固件升级操作指导》升级Atlas 500设备。如果部署的模型适配Atlas 500原有的固件,则无需升级固件。
  • 固件下载升级仅适用于Atlas 500。
  • 对于预置算法训练所得的模型,要求使用AI市场中的新版预置算法,且算法支持Ascend 310进行推理。

将模型部署至Atlas 500,请参考如下步骤进行操作。

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
  2. 在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
  3. 在部署页面,填写边缘服务相关参数,然后单击“下一步”
    1. 填写基本信息。基本信息包含“名称”“描述”。其中“名称”默认生成,建议根据实际业务填写有意义的名称。
    2. 填写边缘服务参数,详情请参见表2
      表2 部署至Atlas 500的参数说明

      参数名称

      说明

      “选择模型及配置”

      从下拉列表中选择可用的模型及版本。

      说明:

      选择的模型是om或tflite格式的,即经过模型转换,然后使用“ARM-Ascend模板”导入至ModelArts的模型。

      “计算节点规格”

      选择符合要求的模型后,计算节点规格默认支持如下两种:

      • ARM:3 核 3 GiB Ascend: 1 * Ascend 310
      • 自定义规格:可自行设置CPU、内存和Ascend个数。由于Atlas 500只有1个Ascend,设置为Ascend后,数量需设置为1。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。

      “选择边缘节点”

      边缘节点是您自己的边缘计算设备,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。

      单击选择边缘节点右侧的“添加”,在弹出的“添加节点”对话框中,选择在IEF中纳管的Atlas 500节点,然后单击“确定”

      ModelArts系统会进行自动识别和匹配,如果纳管的设备未升级至符合要求的固件,则需根据界面提示完成C32固件升级。反之,则不需要进行固件升级。

      图1 选择模型及边缘节点
  4. (可选)Atlas 500设备升级C32固件。
    1. 图1提示,在节点列表下方单击“升级C32固件”,在弹出的对话框中,仔细阅读升级说明,勾选“我已阅读并同意以上内容”,然后单击“下载”,将固件版本及升级指导下载至本地。文件名称为“atlas500_C32_Firmware.zip”
    2. 解压“atlas500_C32_Firmware.zip”文件,打开Atlas500产品C32固件升级操作指导.doc文件,根据指导完成Atlas 500的固件升级操作。
    3. 待Atlas 500升级后,重新部署边缘服务。

      刷新ModelArts管理控制台页面,根据1~3步骤,重新填写部署边缘服务的信息,此时选择升级后的Atlas 500,则不会再出现升级提示。

  5. 完成参数填写后,单击“立即创建”,完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

    您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。部署完成后,您可以登录Atlas 500查看部署完成的应用。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问