部署为边缘服务
AI应用准备完成后，您可以将AI应用部署为边缘服务。在“部署上线>边缘服务”界面，列举了用户所创建的边缘服务。边缘服务依赖智能边缘平台（IEF），部署前需要在智能边缘平台上创建边缘节点。
前提条件
- 数据已完成准备：已在ModelArts中创建状态“正常”可用的AI应用。
- 如果选择“节点 > IEF边缘节点”部署边缘服务，请先在智能边缘平台（IEF）创建边缘节点。如果您未创建边缘节点，具体操作请参见创建边缘节点。
- 如果选择“节点组”部署边缘服务，请先在智能边缘平台（IEF）创建边缘节点组，当前仅支持铂金版资源实例。如果您未创建边缘节点，具体操作请参见创建边缘节点组。
- 确认用户的委托权限已包含Tenant Administrator权限。由于边缘服务依赖IEF纳管的边缘节点，而使用IEF服务需要授予IAM用户Tenant Administrator权限，所以若ModelArts委托不包含Tenant Administrator权限时，将导致边缘服务部署失败。
- 在ModelArts管理控制台，左侧导航栏选择“全局配置”，进入全局配置列表页。
- 在用户名对应的“操作”列，单击“查看权限”，在“权限详情”弹出框中确认委托权限已包含Tenant Administrator。
- 由于在线运行需消耗资源，确保账户未欠费。
背景信息
- 边缘服务目前还处于限时免费阶段，运行中的边缘服务，并不会产生费用。
- 用户最多可创建1000个边缘服务。
部署边缘服务
- 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线>边缘服务”，默认进入“边缘服务”列表。
- 在边缘服务列表中，单击左上角“部署”，进入“部署”页面。
- 在部署页面，填写边缘服务相关参数。
- 填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成。例如：service-bc0d，您也可以根据实际情况填写“名称”和“描述”信息。
- 填写服务参数。包含资源池、AI应用配置等关键信息，详情请参见表1。
表1 参数说明 参数名称
说明
“部署方式”
可选择“节点”、“节点组”或“资源池”。
- 节点：可选ModelArts边缘节点和IEF边缘节点。请指定“边缘节点类型”和“选择边缘节点”。
- 节点组：在IEF创建的铂金版实例的边缘节点组。请指定对应的铂金版“资源实例”和“部署实例个数”。IEF相关说明请参见边缘节点组。
- 资源池：在ModelArts创建的边缘资源池。请指定“部署实例个数”和“选择边缘资源池”。
“边缘节点类型”
部署方式选择节点时，显示该参数。
IEF边缘节点：由IEF纳管的边缘节点。IEF边缘节点相关说明请参见边缘节点。
“资源实例”
部署方式选择节点组时，显示该参数。当前仅支持一体机铂金资源实例。
“部署实例个数”
部署方式选择节点组/资源池时，显示该参数。设置部署的实例个数。
“选择边缘节点”
部署方式选择节点/节点组时，显示该参数。请选择对应边缘节点类型的边缘节点。不支持选择已经被边缘服务绑定的边缘节点。
“选择AI应用及配置”
设置AI应用及对应配置。参见表2。
表2 选择AI应用及配置 参数名称
说明
“AI应用来源”
根据您的实际情况选择“我的AI应用”或者“我的订阅”。
“选择AI应用及版本”
选择状态“正常”的AI应用及版本。
说明：边缘服务部署完成后，只支持修改AI应用的版本号。
“计算节点规格”
请根据界面显示的列表，选择可用的规格，置灰的规格表示当前无法使用。
“环境变量”
设置环境变量，注入环境变量到容器实例。为确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。
默认设置外部接口协议为https，用户可以通过修改“MODELARTS_SSL_ENABLED”环境变量设置接口协议为http。
MODELARTS_SSL_ENABLED = false
“网络配置”
使用ModelArts边缘节点/边缘资源池时，显示该参数。容器镜像应用的访问方式，支持使用主机网络或使用端口映射。
- 主机网络：当前版本不支持该方式访问容器镜像。
- 端口映射：通过该方式访问时，需要配置容器端口、主机网卡地址、主机端口信息。主机端口可以指定或者自动获取，自动获取时，需要设置主机端口的上限和下限。
“数据存储”
使用ModelArts边缘节点/边缘资源池时，显示该参数。设置数据的存储，需要配置存储卷类型、挂载卷名称、磁盘源、挂载路径、存储介质、权限参数。存储卷类型支持主机路径和临时路径两种。
- 完成参数填写后，根据界面提示完成边缘服务的部署。部署服务一般需要运行一段时间，根据您选择的数据量和资源不同，部署时间将耗时几分钟到几十分钟不等。
您可以前往边缘服务列表，查看边缘服务的基本情况。在边缘服务列表中，刚部署的服务“状态”为“部署中”，当边缘服务的“状态”变为“运行中”时，表示服务部署完成。在边缘服务列表中，可以查看边缘服务的部署方式。
部署边缘服务（Atlas 500）
如果您纳管至IEF的设备是Atlas 500智能小站，则需要将训练好的模型部署至Atlas 500设备中。在开始操作之前，您需要了解如下几点要求。
- 对AI应用的要求：仅支持om模型或tflite模型，即支持部署在Ascend或ARM资源的模型。
- 关于固件升级：如果您使用AI Gallery中新版预置算法训练得到的模型。当前此算法仅适配C32固件，不支持低级版本和C7X版本。因此将此模型部署至Atlas 500设备时，需下载并升级固件，请参考《Atlas500产品C32固件升级操作指导》升级Atlas 500设备。如果您使用部署的模型适配Atlas 500原有的固件，则无需升级固件。
- 固件下载升级仅适用于Atlas 500。
- 对于预置算法训练所得的模型，要求使用AI Gallery中的预置算法，且算法支持snt3进行推理。
将AI应用部署至Atlas 500，请参考如下步骤进行操作。
- 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线>边缘服务”，默认进入“边缘服务”列表。
- 在边缘服务列表中，单击左上角“部署”，进入“部署”页面。
- 在部署页面，填写边缘服务相关参数，然后单击“立即创建”。
- 填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成，建议根据实际业务填写有意义的名称。
- 填写边缘服务参数，详情请参见表3。
表3 部署至Atlas 500的参数说明 参数名称
说明
“部署方式”
选择“节点”。
“边缘节点类型”
选择“IEF边缘节点”。
“选择边缘节点”
边缘节点是您自己的边缘计算设备，用于运行边缘应用，处理您的数据，并安全、便捷地和云端应用进行协同。
单击选择边缘节点右侧的“添加”，在弹出的“添加节点”对话框中，选择在IEF中纳管的Atlas 500节点，然后单击“确定”。
ModelArts系统会进行自动识别和匹配，如果纳管的设备未升级至符合要求的固件，则需根据界面提示完成C32固件升级。反之，则不需要进行固件升级。
“AI应用来源”
根据您的实际情况选择“我的AI应用”或者“我的订阅”。
“选择AI应用及版本”
从下拉列表中选择可用的AI应用及版本。
说明：选择的模型是om或tflite格式的，然后使用“ARM-Ascend模板”导入至ModelArts创建为AI应用。
“计算节点规格”
选择符合要求的AI应用后，计算节点规格默认支持如下两种：
- ARM：Ascend: 1* snt3 (8GB) | ARM: 3 核 3GB
- 自定义规格：可自行设置CPU、内存和Ascend个数。由于Atlas 500只有1个Ascend，设置为Ascend后，数量需设置为1。
“环境变量”
设置环境变量，注入环境变量到容器实例。为确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。
- （可选）Atlas 500设备升级C32固件。
- 完成参数填写后，单击“立即创建”，完成边缘服务的部署。部署服务一般需要运行一段时间，根据您选择的数据量和资源不同，部署时间将耗时几分钟到几十分钟不等。
您可以前往边缘服务列表，查看边缘服务的基本情况。在边缘服务列表中，刚部署的服务“状态”为“部署中”，当边缘服务的“状态”变为“运行中”时，表示服务部署完成。部署完成后，您可以登录Atlas 500查看部署完成的应用。
