更新时间:2025-08-04 GMT+08:00
分享

用户自主部署的模型服务使用流程介绍

AI原生应用引擎支持将模型资产部署为模型服务,模型来源包括:

  • 将平台预置模型部署为模型服务:平台提供开源模型,由用户在平台自主完成部署。
  • 创建模型并部署为模型服务:用户自研或通过开源社区获取模型文件,在平台上传模型文件并完成部署。
  • 微调模型部署为模型服务:用户在平台上选择自定义的微调模型并完成部署。

模型服务部署完成后,用户可便捷地体验和调用。

图1 用户自主部署模型服务使用流程
表1 用户自主部署的模型服务使用流程详解

序号

流程环节

说明

1

创建模型

支持通过上传模型文件的方式创建模型。

2

部署模型服务

模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测。

3

调测模型服务

调测模型服务是指通过对模型进行实际操作、参数调整及效果观测,以验证其在特定场景下的功能表现、性能指标及适用范围的过程。其核心目的是确保模型在真实业务场景中能够稳定、高效地运行。

4

使用模型服务

模型服务部署后,可在Agent、工作流中调用模型服务或通过API调用模型服务,请参考在AI原生应用引擎中创建单Agent(自主规划模式)创建工作流以及模型调用

相关文档