# 接入模型服务 AI原生应用引擎支持接入由用户或第三方部署在外部环境的模型服务API，支持接入的模型类型包括文本对话（Chat）、文本向量化（Embeddings）、文本排序（Rerank）、图像理解。模型服务接入后，用户可以进行调测和调用。 #### 前提条件 - 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参考[AppStage组织成员申请权限](https://support.huaweicloud.com/usermanual-appstage/appstage_04_0009.html)。 - 请确保接入的模型服务API符合相应的接口规范，具体规范要求请参见[模型服务API接入接口规范](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_1973.html)。 #### 创建接入模型服务 1. [进入AI原生应用引擎](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_0638.html#appstage_04_0638__section439520293419)。 2. 在AI原生应用引擎的左侧导航，选择"模型中心 \> 我的模型服务"，进入"模型服务"页面。 3. 在"我的模型服务 \> 我接入的 \> 我创建的"页签，单击"新增模型供应商"。 4. 在"新增模型供应商"页面，配置参数信息，具体参数说明请参考[表1]。 表1新增模型供应商参数说明 | 参数 | 说明 | |:---|:---| | 供应商图标 | 供应商的图标。大小小于100KB，格式为jpg、png。 | | 供应商名称 | 供应商的名称。由2\~64个字符组成，包含中英文、数字、下划线、中划线、空格。 | | 供应商英文名称 | 供应商的英文名称。由2\~64个字符组成，包含英文、数字、下划线、中划线、空格。 | | 简介 | 选填项。 供应商的简介。由0\~1000个字符组成。 | | 鉴权方式 | - **无鉴权** - **Api-key**：Api-key认证方式，通过请求header的Authentication字段携带Bearer \ 进行认证，需要提供Api-key。 - **AK/SK**：适用于盘古大模型的AK/SK认证方式，通过AK（ Access Key ID） /SK（Secret Access Key）加密调用请求，需要提供AK和SK。 - **App-code**：APP认证方式，通过请求header的X-Apig-Appcode字段携带App-code进行认证，需要提供App-code。 | 5. 单击"确定"。 新增的模型供应商，显示在模型供应商列表中。"模型服务状态"为"已接入"。 6. 在模型供应商列表，在供应商名称左侧单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002409091805.png)，单击"新增模型服务"。 7. 在"新增模型服务"页面，配置参数信息，具体参数说明请参考[表7]。 表2新增模型服务参数说明 | 参数 | 说明 | |:---|:---| | 服务名称 | 自定义服务名称。由2\~32个字符组成，包含中英文、数字及 ._\\-，以中英文、数字开头结尾。 | | 模型名称 | 填写的模型名称必须为该模型的模型ID/模型编码（登录第三方模型厂商官网查看），例如，Baichuan4、deepseek-chat、glm-4-air，否则会导致模型不可用。 由2\~64个字符组成，包含中英文、数字及 ._\\-，以中英文,数字开头结尾。 通过API调用模型服务时，该模型名称将用于OpenAPI调用请求体的model字段，详细介绍请参见[模型调用](https://support.huaweicloud.com/api-appstage/topic_300000000.html)。 | | 模型类型 | 支持选模型类型：文本对话、文本向量化、文本排序、图像理解。 | | 模型服务API地址 | 填入需要接入模型的API地址信息。 | | API接口协议 | 当"模型类型"值为"文本对话""文本向量化""图像理解"时，选择"标准OpenAI协议"。 当"模型类型"值为"文本排序"时，选择"AI引擎标准协议"。 模型服务API接入接口规范请参考[模型服务API接入接口规范](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_1973.html)。 | | 流控配置 | 超出流控值，则触发限流，用户的请求会因为流控而失败。 - **无限制** - **10次/秒** - **50次/秒** - **100次/秒** - **200次/秒** | | 是否支持工具调用 | - 支持 - 不支持 | | 是否支持思维链 | - 支持 - 不支持 | | 模型服务描述 | 选填项。 模型服务的描述信息。由0\~1000个字符组成。 | 8. 单击"确定"。 新增的模型服务，显示在模型供应商下的模型列表中，"发布状态"为"未发布"。 9. 在模型服务对应的"操作"列下，单击"调测"。 - **文本对话** 1. 配置如[表3]所示的参数。 表3文本对话类型模型参数说明 | 参数 | 说明 | |:---|:---| | 输出方式 | 可选非流式、流式。 - **非流式**：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 - **流式**：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。 | | 输出最大token数 | 模型在单次推理或生成内容时，能够输出的token（模型处理文本的基本单位）数量的最大值。取值范围为100\~32768。 | | 温度 | 较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和"多样性"只设置1个。 | | 多样性 | 影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和"温度"只设置1个。 | | 存在惩罚 | 介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语，更倾向于生成新词语。 | | 频率惩罚 | 介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。 | | 内容安全监测配置 | 开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 在右侧"效果预览"区域，可通过以下两种方式进行模型调测。 - 在对话输入框输入测试语句后按Enter键或单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002409117605.png "点击放大")，查看模型响应结果。 - 单击"引用已有提示语模板"或单击输入框上方的"提示语模板"，在弹出的面板中选择"我创建的"、"我收藏的"或"平台预置的"提示语模板，然后按Enter键或单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002409037449.png "点击放大")，查看模型响应结果。 - **文本向量化** 1. 配置如[表4]所示的参数。 表4文本向量化类型模型参数说明 | 参数 | 说明 | |:---|:---| | 请输入文本 | 输入待向量化的文本，可参照以下示例： - 示例1：那是个快乐的人 - 示例2： \["那是个快乐的人", "那是个高兴的人", "那是个忧郁的人"\] | | 内容安全监测配置 | 开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 单击"生成向量化"，在"效果预览"区域查看模型响应结果。 - 调测文本排序类型模型 1. 配置如[表5]所示的参数。 表5文本排序类型模型参数说明 | 参数名称 | 参数说明 | |:---|:---| | 待排序文本 | 输入待排序文本。单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002375478066.png)添加文本，最多可以添加**10** **条**。 | | 被展示文本条数 | 文本排序完成后，展示的条数。取值范围为**1\~10**。 | | 我的问题 | 描述想要解决的问题。 | | 内容安全监测配置 | 开关默认开启，可对输入内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 单击"开始排序"，在"效果预览"区域查看模型响应结果。 10. 在模型服务对应的"操作"列下，单击"发布"。 发布成功后，"发布状态"变为"已发布"。 #### 更多操作 在模型供应商列表，支持的其他操作请参考[表6]。 表6模型供应商信息相关操作 | 操作 | 说明 | |:---|:---| | 查看模型供应商信息 | 单击模型供应商名称。 | | 鉴权配置 | 在需要鉴权配置的模型供应商对应的"操作"列，单击"鉴权配置"。 在新增模型供应商时，"鉴权方式"选择"Api-key""AK/SK""App-code"时，才能进行鉴权配置。 | | 修改模型供应商信息 | 在需要修改的模型供应商对应的"操作"列，单击"修改"。 | | 删除模型供应商 | 在需要删除的模型供应商对应的"操作"列，单击"删除"。 模型供应商中有已发布的模型服务，需要先删除模型服务。 | 在接入模型服务列表，支持的其他操作请参考[表7]。 表7接入模型服务相关操作 | 操作 | 说明 | |:---|:---| | 查看接入模型服务信息 | 单击接入模型服务名称。 | | 修改接入模型服务信息 | 在需要修改的接入模型服务对应的"操作"列，单击"修改"。 "发布状态"为"未发布"的接入模型服务，才可以修改。 | | 取消发布 | 在需要取消的接入模型服务对应的"操作"列，单击"取消发布"。 已发布的接入模型服务，才可以取消发布。 | | 删除接入模型服务 | 在需要删除的接入模型服务对应的"操作"列，单击"删除"。 "发布状态"为"未发布"的接入模型服务，需要先取消发布，才能删除。 | #### 相关文档 - 模型服务接入后，可调测模型服务，请参考[调测模型服务](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_0679.html)。 - 模型服务接入后，可在Agent、工作流中调用模型服务或通过API调用模型服务，请参考[在AI原生应用引擎中创建单Agent（自主规划模式）](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_0597.html)、[创建工作流](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_0846.html)以及[模型调用](https://support.huaweicloud.com/api-appstage/topic_300000000.html)。