更新时间:2025-09-16 GMT+08:00
分享

模型中心

模型中心提供标准化API接口,支持盘古大模型与业界主流模型的接入与管理,提供多种路由策略,实现模型无感切换和灵活调度,支持NLP与多模态理解模型的在线调测及参数配置。

模型服务

Versatile支持对接模型,用户可自由选择通过大模型开发平台或直接对接第三方模型,并提供模型接入管理。

表1 Versatile模型服务

功能

说明

模型接入

客户可通过大模型开发平台或直接对接第三方模型推理服务两种方式接入。

模型管理

统一管理所有接入的模型,具备鉴权配置、修改和删除能力。

路由策略

多模型路由与开放,兼容业界主流大模型,模型推理API标准化,提供统一访问接口及一站式模型管理,使应用无感模型变化。支持创建和修改路由策略,配置专属模型调测。

图1 路由策略

模型调测

支持文本对话、图像理解、文本向量化和文本排序四种类型模型的调测,可选择非流式和流式输出模式。调测模型包括输出最大token数、温度、多样性、存在惩罚、频率惩罚参数,通过预览调试查看调试效果。

图2 模型调测

相关文档