自定义模型接入流程
概述
AgentArts支持接入由用户或第三方部署在外部环境的模型服务API。相比使用平台预置模型,接入自定义模型服务具有以下优势:
- 优化个性化体验: 根据业务特点接入定制化模型,减少用户的搜索和选择时间,提供更加流畅高效的使用体验。例如,搜索引擎可根据用户的搜索历史和偏好,提供更精准的搜索结果。
- 增强特定领域的准确性: 接入专业领域的模型服务,可显著提升特定场景下的输出准确性。例如,在医疗领域接入专业医学模型,可提供更准确的诊断建议。
- 提升开发效率: 开发人员无需从零构建复杂模型,可直接接入已有的高质量模型服务API,快速集成大模型能力。
接入流程
AgentArts支持接入由用户或第三方部署在外部环境的模型服务API。接入前需先添加模型供应商,再接入其提供的模型服务。接入自定义模型服务的完整流程如图1所示。
|
序号 |
流程环节 |
说明 |
|---|---|---|
|
1 |
接入模型供应商 |
接入模型服务之前,需先将模型供应商注册到AgentArts平台。具体操作请参考接入模型供应商。 |
|
2 |
接入模型服务 |
模型供应商接入后,将其提供的模型服务API接入AgentArts平台。具体操作请参考接入模型服务。 |
|
3 |
调测模型 |
对模型进行实际调用、参数调整及效果观测,验证其在特定场景下的功能表现与性能指标,确保模型在真实业务场景中稳定运行。具体操作请参考调测模型。 |
|
4 |
配置模型路由策略(可选) |
当接入了多个同类型模型服务时,建议配置路由策略实现故障自动切换。路由策略创建后,建议对路由入口进行调测验证切换是否生效。具体操作请参考配置模型路由策略。 |
|
5 |
使用模型服务 |
