添加模型服务
模型服务是具体的模型配置,从属于模型提供商。每个模型服务定义了模型名称、API接口协议和模型类型,是推理请求路由的核心依据。
通过添加模型服务,用户可以在同一个模型提供商下配置多个不同协议和类型的模型,实现多模型统一接入。一个模型提供商最多可添加10个模型服务,如需调整配额,请提交工单申请。
在创建模型提供商页面或模型提供商详情页面,可以添加模型服务。
添加模型服务
- 登录AgentArts智能体平台。
- 在左侧导航栏选择“托管与运行 > 模型”,进入模型界面。
- 单击已创建的模型提供商卡片上的“查看”或“创建模型提供商”,在“模型服务”区域,单击“添加模型服务”。
- 输入模型服务的配置信息,参数说明请参考表1。
表1 模型服务参数说明 参数
说明
模型服务名称
模型服务名称。
命名规则:支持中英文、数字及符号 _./-,须以中英文或数字开头结尾,长度2-64个字符。
系统会默认生成名称,可根据需求自定义修改。
描述
用于说明该模型服务的内容与用途。长度不大于1000个字符。
模型名称
模型名称,接口调用请求体中的model字段的取值。
由英文、数字及符号(连字符、点、下划线、星号、问号和@)组成,支持 * 的前缀通配以及后缀通配,长度为1-256个字符。例如:gpt-4、claude-3-opus、gpt-*。
模型名称支持通配匹配,用于灵活匹配客户端请求中的model字段。
- 精确匹配:模型名称与请求中的model字段完全一致时匹配。例如配置了model=gpt-4,请求model=gpt-4时匹配。
- 前缀通配:模型名称以 * 结尾时,匹配所有以指定前缀开头的模型。例如配置了model=gpt-*,请求model=gpt-4-turbo时匹配。
- 后缀通配:模型名称以 * 开头时,匹配所有以指定后缀结尾的模型。例如配置了model=*-turbo,请求model=gpt-4-turbo时匹配。
- 精确优先:当精确匹配和通配匹配同时可以匹配时,优先使用精确匹配。
说明:通配匹配时,网关会将客户端请求体中的完整model值传递给后端,而不是通配符。例如配置了model=gpt-*,客户端请求model=gpt-4-turbo时,后端收到的model为gpt-4-turbo。
API接口协议
选择 API 接口协议,支持以下三种:
- 标准OpenAI协议:兼容OpenAI API标准的协议。选择后,模型类型可选项为:文本对话/图像理解、多模态对话、文本向量化、文本排序、实时语音对话。
- Anthropic协议:兼容Anthropic API标准的协议。选择后,模型类型可选项为:文本对话/图像理解、Token计数。
- 华为云MaaS标准API V1:华为云MaaS标准协议。选择后,模型类型可选项为:文本对话/图像理解、文本向量化、文本排序。
模型类型
根据所选的API接口协议,选择模型类型。每种模型类型对应一个标准请求路径,请参考模型类型与请求路径。可勾选一个或多个模型类型。
- 单击“确定”,完成模型服务的添加。
添加完成后,模型服务将显示在模型提供商详情页面的“模型服务”表格中。
模型类型与请求路径
每种模型类型对应一个标准请求路径,网关根据模型类型自动路由推理请求。选择不同的 API 接口协议时,可选择的模型类型不同。
| API接口协议 | 模型类型 | 说明 | 请求路径 |
|---|---|---|---|
| 标准OpenAI协议 | 文本对话/图像理解(completions) | 文本生成和图像理解对话 | /v1/chat/completions |
| 标准OpenAI协议 | 多模态对话(responses) | 多模态对话交互 | /v1/responses |
| 标准OpenAI协议 | 文本向量化(embeddings) | 将文本转换为向量表示 | /v1/embeddings |
| 标准OpenAI协议 | 文本排序(rerank) | 对文本进行相关性排序 | /v1/rerank |
| 标准OpenAI协议 | 实时语音对话(realtime) | 实时语音交互 | /v1/realtime |
| Anthropic协议 | 文本对话/图像理解(messages) | 基于 Anthropic 协议的文本对话 | /v1/messages |
| Anthropic协议 | Token计数(token_count) | 计算输入 Token 数量 | /v1/messages/count_tokens |
| 华为云MaaS标准API V1 | 文本对话/图像理解(completions) | 文本生成和图像理解对话 | /v1/chat/completions |
| 华为云MaaS标准API V1 | 文本向量化(embeddings) | 将文本转换为向量表示 | /v1/embeddings |
| 华为云MaaS标准API V1 | 文本排序(rerank) | 对文本进行相关性排序 | /v1/rerank |
更多操作
模型服务创建完成后,您还可以执行如表3所示更多操作。