AI开发平台ModelArtsAI开发平台ModelArts

计算
弹性云服务器 ECS
云耀云服务器 HECS
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机 CPH
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
内容分发网络 CDN
存储容灾服务 SDRS
弹性文件服务 SFS
云服务器备份 CSBS
云硬盘备份 VBS
数据快递服务 DES
专属企业存储服务
智能边缘
智能边缘云 IEC
EI 企业智能
EI安视服务
AI开发平台ModelArts
数据湖治理中心 DGC
数据仓库服务 GaussDB(DWS)
企业级AI应用开发专业套件 ModelArts Pro
数据湖探索 DLI
华为HiLens
云搜索服务 CSS
数据接入服务 DIS
表格存储服务 CloudTable
数据湖工厂 DLF
图引擎服务 GES
推荐系统 RES
文字识别 OCR
内容审核 Moderation
图像识别 Image
图像搜索 ImageSearch
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
数据可视化 DLV
视频接入服务 VIS
自然语言处理 NLP
语音交互服务 SIS
知识图谱 KG
医疗智能体 EIHealth
可信智能计算服务 TICS
园区智能体 CampusGo
实时流计算服务 CS
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
IoT物联网
全球SIM联接 GSL
设备发放 IoTDP
IoT开发者服务
IoT边缘 IoTEdge
IoT数据分析
路网数字化服务 DRIS
开发与运维
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
软件开发平台 DevCloud
开源镜像站 Mirrors
视频
媒体处理 MPC
视频点播 VOD
视频直播 Live
实时音视频 SparkRTC
管理与部署
统一身份认证服务 IAM
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云审计服务 CTS
云日志服务 LTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
专属云
专属计算集群 DCC
专属分布式存储服务 DSS
域名与网站
域名注册服务 Domains
云速建站 CloudSite
企业协同
华为云WeLink
会议
ISDP
解决方案
全栈专属服务
高性能计算 HPC
SAP
游戏云
混合云灾备
快视频
华为工业云平台 IMC
价格
价格原则
成本优化最佳实践
昇腾
昇腾MindX SDK (20.3)
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
容器交付流水线 ContainerOps
应用服务网格 ASM
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
容器批量计算 BCE
云原生服务中心 OSC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
文档数据库服务 DDS
分布式数据库中间件 DDM
数据复制服务 DRS
数据管理服务 DAS
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
云数据库 GaussDB (for openGauss)
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
应用中间件
应用管理与运维平台 ServiceStage
分布式缓存服务 DCS
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
消息通知服务 SMN
微服务引擎 CSE
云性能测试服务 CPTS
区块链服务 BCS
API网关 APIG
应用魔方 AppCube
分布式消息服务RocketMQ版
多云高可用服务 MAS
可信跨链数据链接服务 TCDAS
企业应用
云桌面 Workspace
云解析服务 DNS
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
ROMA API
鸿源云道
华为乾坤
安全与合规
Web应用防火墙 WAF
漏洞扫描服务 VSS
企业主机安全 HSS
容器安全服务 CGS
数据加密服务 DEW
数据库安全服务 DBSS
态势感知 SA
云堡垒机 CBH
SSL证书管理 SCM
云证书管理服务 CCM
管理检测与响应 MDR
数据安全中心 DSC
威胁检测服务 MTD
DDoS防护 ADS
云防火墙 CFW
应用信任中心 ATC
安全技术与应用
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
智能协作
IdeaHub
企业网络
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
废弃-华为乾坤安全云服务
云通信
语音通话 VoiceCall
消息&短信 MSGSMS
隐私保护通话 PrivateNumber
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
云生态
云市场
鲲鹏
昇腾
合作伙伴中心
华为云培训中心
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
网站备案
支持计划
专业服务
合作伙伴支持计划
更新时间:2021/08/06 GMT+08:00
分享

部署为边缘服务

模型准备完成后,您可以将模型部署为边缘服务。在“部署上线>边缘服务”界面,列举了用户所创建的边缘服务。您可以在右上方搜索框中输入服务名称,单击进行查询。边缘服务依赖智能边缘平台(IEF),部署前需要在智能边缘平台上创建边缘节点。

前提条件

  • 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。
  • 已在IEF上创建边缘节点。如果您未创建边缘节点,具体操作请参见创建边缘节点
  • 由于在线运行需消耗资源,确保帐户未欠费。

背景信息

  • 边缘服务目前还处于限时免费阶段,运行中的边缘服务,并不会产生费用。
  • 用户最多可创建1000个边缘服务。

部署边缘服务

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
  2. 在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
  3. 在部署页面,填写边缘服务相关参数。
    1. 填写基本信息。基本信息包含“名称”“描述”。其中“名称”默认生成。例如:service-bc0d,您也可以根据实际情况填写“名称”“描述”信息。
    2. 填写服务参数。包含资源池、模型配置等关键信息,详情请参见表1
      表1 参数说明

      参数名称

      说明

      “选择模型及配置”

      选择状态“正常”的模型及版本。

      “计算节点规格”

      支持如下几种规格。

      • “CPU:2核 8GiB”:适合纯CPU类型的负载运行的模型。
      • “CPU:2核 8GiB GPU:1*P4”:适合CPU+GPU类型模型的运行,带有1个Nvidia P4卡。
      • “自定义规格”,如果选择自定义规格,可以在参数下方设置您所需的“CPU”“内存配额”“GPU”“Ascend”。其中,“GPU”“Ascend”只能二选一。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。

      默认设置外部接口协议为https,用户可以通过修改“MODELARTS_SSL_ENABLED”环境变量设置接口协议为http。

      MODELARTS_SSL_ENABLED = false

      “部署方式”

      可选择“节点”“节点组”

      • 如果您在IEF创建的是边缘节点,则选择“节点”。IEF相关说明请参见边缘节点
      • 如果您在IEF创建的是铂金版实例和边缘节点组,则选择“节点组”。需指定对应的铂金版“资源实例”“部署实例个数”。IEF相关说明请参见边缘节点组

      “选择边缘节点”

      边缘节点是您自己的边缘计算设备,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。

      单击选择边缘节点“添加”,在弹出的“添加节点”对话框中选择节点。选择您已创建的节点后,单击“确定”

  4. 完成参数填写后,根据界面提示完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

    您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。

部署边缘服务(Atlas 500)

如果您纳管至IEF的设备是Atlas 500智能小站,将训练好的模型部署至Atlas 500设备中。在开始操作之前,您需要了解如下几点要求。

  • 对模型的要求:仅支持om模型或tflite模型,即支持部署在Ascend或ARM资源的模型。针对不满足格式的模型,必须经过模型转换操作,将模型转换成对应格式。模型转换操作和限制,请参见压缩和转换模型操作
  • 关于固件升级:如果您使用AI Gallery中新版预置算法训练得到的模型。当前此算法仅适配C32固件,不支持低级版本和C7X版本。因此将此模型部署至Atlas 500设备时,需下载并升级固件,请参考《Atlas500产品C32固件升级操作指导》升级Atlas 500设备。如果您使用部署的模型适配Atlas 500原有的固件,则无需升级固件。
  • 固件下载升级仅适用于Atlas 500。
  • 对于预置算法训练所得的模型,要求使用AI Gallery中的预置算法,且算法支持Ascend 310进行推理。

将模型部署至Atlas 500,请参考如下步骤进行操作。

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
  2. 在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
  3. 在部署页面,填写边缘服务相关参数,然后单击“下一步”
    1. 填写基本信息。基本信息包含“名称”“描述”。其中“名称”默认生成,建议根据实际业务填写有意义的名称。
    2. 填写边缘服务参数,详情请参见表2
      表2 部署至Atlas 500的参数说明

      参数名称

      说明

      “选择模型及配置”

      从下拉列表中选择可用的模型及版本。

      说明:

      选择的模型是om或tflite格式的,即经过模型转换,然后使用“ARM-Ascend模板”导入至ModelArts的模型。

      “计算节点规格”

      选择符合要求的模型后,计算节点规格默认支持如下两种:

      • ARM:3 核 3 GiB Ascend: 1 * Ascend 310
      • 自定义规格:可自行设置CPU、内存和Ascend个数。由于Atlas 500只有1个Ascend,设置为Ascend后,数量需设置为1。

      “环境变量”

      设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。

      “选择边缘节点”

      边缘节点是您自己的边缘计算设备,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。

      单击选择边缘节点右侧的“添加”,在弹出的“添加节点”对话框中,选择在IEF中纳管的Atlas 500节点,然后单击“确定”

      ModelArts系统会进行自动识别和匹配,如果纳管的设备未升级至符合要求的固件,则需根据界面提示完成C32固件升级。反之,则不需要进行固件升级。

      图1 选择模型及边缘节点
  4. (可选)Atlas 500设备升级C32固件。
    1. 图1提示,在节点列表下方单击“升级C32固件”,在弹出的对话框中,仔细阅读升级说明,勾选“我已阅读并同意以上内容”,然后单击“下载”,将固件版本及升级指导下载至本地。文件名称为“atlas500_C32_Firmware.zip”
    2. 解压“atlas500_C32_Firmware.zip”文件,打开Atlas500产品C32固件升级操作指导.doc文件,根据指导完成Atlas 500的固件升级操作。
    3. 待Atlas 500升级后,重新部署边缘服务。

      刷新ModelArts管理控制台页面,根据1~3步骤,重新填写部署边缘服务的信息,此时选择升级后的Atlas 500,则不会再出现升级提示。

  5. 完成参数填写后,单击“立即创建”,完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

    您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。部署完成后,您可以登录Atlas 500查看部署完成的应用。

分享:

    相关文档

    相关产品