更新时间:2024-09-03 GMT+08:00
分享

边缘服务部署流程

边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。

图1 边缘资源池创建步骤
  • 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于N2的模型(盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型)经有监督微调(SFT)训练后的用户模型进行边缘部署。
  • 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能,该功能为白名单特性,需要联系ModelArts服务技术支持人员进行开通。
  • 创建边缘资源池操作较为复杂,建议联系盘古服务技术支持人员进行协助。

相关文档