更新时间:2024-09-03 GMT+08:00
边缘服务部署流程
边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。
图1 边缘资源池创建步骤
![](https://support.huaweicloud.com/ugobs-obs-pangulm/zh-cn_image_0000002037136045.png)
![](https://support.huaweicloud.com/ugobs-obs-pangulm/public_sys-resources/note_3.0-zh-cn.png)
- 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于N2的模型(盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型)经有监督微调(SFT)训练后的用户模型进行边缘部署。
- 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能,该功能为白名单特性,需要联系ModelArts服务技术支持人员进行开通。
- 创建边缘资源池操作较为复杂,建议联系盘古服务技术支持人员进行协助。
父主题: 部署为边缘服务