# 调测模型服务 调测模型是指通过对模型进行实际操作、参数调整及效果观测，以验证其在特定场景下的功能表现、性能指标及适用范围的过程，其核心目的是确保模型在真实业务场景中能够稳定、高效地运行。本章介绍用户自主接入的模型服务调测流程。 #### 调测模型服务 1. [进入AI原生应用引擎](https://support.huaweicloud.com/usermanual-wiseagent/appstage_04_0638.html#appstage_04_0638__section439520293419)。 2. 在AI原生应用引擎的左侧导航，选择"模型中心 \> 我的模型服务"，进入"模型服务"页面。 3. 在"我的模型服务 \> 我接入的 \> 我创建的"页签，在模型供应商列表，在供应商名称左侧单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002375637950.png)。 4. 在模型服务对应的"操作"列下，单击"调测"。 5. 在"模型调测"页面，可调测如下几种类型"我接入的"模型服务： - **文本对话** 1. 在"模型类型"区域选择"文本对话"，配置[表1]所示参数。 表1文本对话类型模型参数说明 | 参数 | 说明 | |:---|:---| | 模型服务 | 默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： - **模型服务商API**（平台接入的第三方厂商模型服务） - **预置模型API**（平台预置的模型服务） - **我的模型API**（用户自主接入的模型服务、用户自主部署的模型服务） - **我的路由策略** | | 输出方式 | 可选非流式、流式。 - **非流式**：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 - **流式**：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。 | | 输出最大token数 | 模型在单次推理或生成内容时，能够输出的token（模型处理文本的基本单位）数量的最大值。取值范围为100\~32768。 | | 温度 | 较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和"多样性"只设置1个。 | | 多样性 | 影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和"温度"只设置1个。 | | 存在惩罚 | 介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语，更倾向于生成新词语。 | | 频率惩罚 | 介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。 | | 内容安全监测配置 | 开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 在右侧"效果预览"区域，可通过以下两种方式进行模型调测。 - 在对话输入框输入测试语句后按Enter键或单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002356621829.png "点击放大")，查看模型响应结果。 - 单击"引用已有提示语模板"或单击输入框上方的"提示语模板"，在弹出的面板中选择"我创建的"、"我收藏的"或"平台预置的"提示语模板，然后按Enter键或单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002322663142.png "点击放大")，查看模型响应结果。 - **图像理解** 1. 在"模型类型"区域选择"图像理解"，配置[表2]所示参数。 表2图像理解类型模型参数说明 | 参数 | 说明 | |:---|:---| | 模型服务 | 在下拉列表选择其他**模型服务商API**（平台接入的第三方厂商模型服务）、我的模型API（用户自主接入的模型服务）。 | | 上传图片 | 单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002322822998.png)，可上传本地图片。支持上传**JPG** 、**PNG** 格式图片，且不能超过**4MB**。 | | 内容安全监测配置 | 开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | | 提示语内容 | 输入提示语，对图片进行提问，例如，图片里有什么？ | 2. 单击"生成图像理解"，在右侧"效果预览"区域查看模型响应效果。 - **文本向量化** 1. 在"模型类型"区域选择"文本向量化"，配置[表3]所示参数。 表3文本向量化类型模型参数说明 | 参数 | 说明 | |:---|:---| | 模型服务 | 默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： - **模型服务商API**（平台接入的第三方厂商模型服务） - **预置模型API**（平台预置的模型服务） - **我的模型API**（用户自主接入的模型服务、用户自主部署的模型服务） | | 请输入文本 | 输入待向量化的文本，可参照以下示例： - 示例1：那是个快乐的人 - 示例2： \["那是个快乐的人", "那是个高兴的人", "那是个忧郁的人"\] | | 内容安全监测配置 | 开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 单击"生成向量化"，在右侧"效果预览"区域查看模型响应效果。 - **文本排序** 1. 在"模型类型"区域选择"文本排序"，配置[表4]所示参数。 表4文本排序类型模型参数说明 | 参数名称 | 参数说明 | |:---|:---| | 模型服务 | 默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： - **预置模型API**（平台预置的模型服务） - **我的模型API**（用户自主接入的模型服务、用户自主部署的模型服务） | | 待排序文本 | 输入待排序文本。单击![](https://support.huaweicloud.com/usermanual-wiseagent/zh-cn_image_0000002356661649.png)添加文本，最多可以添加10条。 | | 被展示文本条数 | 文本排序完成后，展示的条数。取值范围为1\~10。 | | 我的问题 | 描述想要解决的问题。 | | 内容安全监测配置 | 开关默认开启，可对输入内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。 | 2. 单击"开始排序"，在右侧"效果预览"区域查看模型响应效果。 #### 相关文档 [模型调测时，无法选择模型服务商API是什么原因](https://support.huaweicloud.com/appstage_faq/appstage_05_0204.html)。 [自接入的模型在模型调测的时候报错是什么原因](https://support.huaweicloud.com/appstage_faq/appstage_05_0214.html)。