# 添加模型服务 模型服务是具体的模型配置，从属于模型提供商。每个模型服务定义了模型名称、API接口协议和模型类型，是推理请求路由的核心依据。 通过添加模型服务，用户可以在同一个模型提供商下配置多个不同协议和类型的模型，实现多模型统一接入。一个模型提供商最多可添加10个模型服务，如需调整配额，请[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)申请。 在创建模型提供商页面或模型提供商详情页面，可以添加模型服务。 #### 添加模型服务 1. 登录[AgentArts智能体平台](https://console.huaweicloud.com/agentarts/#/home/overview)。 2. 在左侧导航栏选择"托管与运行 \> 模型"，进入模型界面。 3. 单击已创建的模型提供商卡片上的"查看"或"创建模型提供商"，在"模型服务"区域，单击"添加模型服务"。 4. 输入模型服务的配置信息，参数说明请参考[表1]。 表1模型服务参数说明 | 参数 | 说明 | |:---|:---| | 模型服务名称 | 模型服务名称。 命名规则：支持中英文、数字及符号 _./-，须以中英文或数字开头结尾，长度2-64个字符。 系统会默认生成名称，可根据需求自定义修改。 | | 描述 | 用于说明该模型服务的内容与用途。长度不大于1000个字符。 | | 模型名称 | 模型名称，接口调用请求体中的model字段的取值。 由英文、数字及符号（连字符、点、下划线、星号、问号和@）组成，支持 \* 的前缀通配以及后缀通配，长度为1-256个字符。例如：gpt-4、claude-3-opus、gpt-\*。 模型名称支持通配匹配，用于灵活匹配客户端请求中的model字段。 - **精确匹配**：模型名称与请求中的model字段完全一致时匹配。例如配置了model=gpt-4，请求model=gpt-4时匹配。 - **前缀通配**：模型名称以 \* 结尾时，匹配所有以指定前缀开头的模型。例如配置了model=gpt-\*，请求model=gpt-4-turbo时匹配。 - **后缀通配**：模型名称以 \* 开头时，匹配所有以指定后缀结尾的模型。例如配置了model=\*-turbo，请求model=gpt-4-turbo时匹配。 - **精确优先**：当精确匹配和通配匹配同时可以匹配时，优先使用精确匹配。 说明： 通配匹配时，网关会将客户端请求体中的完整model值传递给后端，而不是通配符。例如配置了model=gpt-\*，客户端请求model=gpt-4-turbo时，后端收到的model为gpt-4-turbo。 | | API接口协议 | 选择 API 接口协议，支持以下三种： - 标准OpenAI协议：兼容OpenAI API标准的协议。选择后，模型类型可选项为：文本对话/图像理解、多模态对话、文本向量化、文本排序、实时语音对话。 - Anthropic协议：兼容Anthropic API标准的协议。选择后，模型类型可选项为：文本对话/图像理解、Token计数。 - 华为云MaaS标准API V1：华为云MaaS标准协议。选择后，模型类型可选项为：文本对话/图像理解、文本向量化、文本排序。 | | 模型类型 | 根据所选的API接口协议，选择模型类型。每种模型类型对应一个标准请求路径，请参考[模型类型与请求路径]。可勾选一个或多个模型类型。 | 5. 单击"确定"，完成模型服务的添加。 添加完成后，模型服务将显示在模型提供商详情页面的"模型服务"表格中。 #### 模型类型与请求路径 每种模型类型对应一个标准请求路径，网关根据模型类型自动路由推理请求。选择不同的 API 接口协议时，可选择的模型类型不同。 表2模型类型与请求路径映射 | API接口协议 | 模型类型 | 说明 | 请求路径 | |:---|:---|:---|:---| | 标准OpenAI协议 | 文本对话/图像理解（completions） | 文本生成和图像理解对话 | /v1/chat/completions | | 标准OpenAI协议 | 多模态对话（responses） | 多模态对话交互 | /v1/responses | | 标准OpenAI协议 | 文本向量化（embeddings） | 将文本转换为向量表示 | /v1/embeddings | | 标准OpenAI协议 | 文本排序（rerank） | 对文本进行相关性排序 | /v1/rerank | | 标准OpenAI协议 | 实时语音对话（realtime） | 实时语音交互 | /v1/realtime | | Anthropic协议 | 文本对话/图像理解（messages） | 基于 Anthropic 协议的文本对话 | /v1/messages | | Anthropic协议 | Token计数（token_count） | 计算输入 Token 数量 | /v1/messages/count_tokens | | 华为云MaaS标准API V1 | 文本对话/图像理解（completions） | 文本生成和图像理解对话 | /v1/chat/completions | | 华为云MaaS标准API V1 | 文本向量化（embeddings） | 将文本转换为向量表示 | /v1/embeddings | | 华为云MaaS标准API V1 | 文本排序（rerank） | 对文本进行相关性排序 | /v1/rerank | #### 更多操作 模型服务创建完成后，您还可以执行如[表3]所示更多操作。 表3更多操作 | 操作 | 说明 | |:---|:---| | 修改模型服务 | 1. 在模型提供商详情页面的"模型服务"表格中，单击操作列的"编辑"。 2. 修改模型服务的配置信息。 3. 单击"确定"，完成更新。 | | 删除模型服务 | 若模型提供商已经关联模型代理，则该提供商下必须至少保留一条模型服务，不允许删除最后一个模型服务。 1. 在模型提供商详情页面的"模型服务"表格中，单击操作列的"删除"。 2. 在确认对话框中，单击"确定"。 |