调测模型服务
调测模型是指通过对模型进行实际操作、参数调整及效果观测,以验证其在特定场景下的功能表现、性能指标及适用范围的过程,其核心目的是确保模型在真实业务场景中能够稳定、高效地运行。本章介绍用户自主接入的模型服务调测流程。
调测模型服务
- 进入AI原生应用引擎。
- 在AI原生应用引擎的左侧导航,选择“模型中心 > 我的模型服务”,进入“模型服务”页面。
- 在“我的模型服务 > 我接入的 > 我创建的”页签,在模型供应商列表,在供应商名称左侧单击
。
- 在模型服务对应的“操作”列下,单击“调测”。
- 在“模型调测”页面,可调测如下几种类型“我接入的”模型服务:
- 文本对话
- 在“模型类型”区域选择“文本对话”,配置表1所示参数。
表1 文本对话类型模型参数说明 参数
说明
模型服务
默认展示所选的模型服务。
您也可以在下拉列表切换以下模型服务:
- 模型服务商API(平台接入的第三方厂商模型服务)
- 预置模型API(平台预置的模型服务)
- 我的模型API(用户自主接入的模型服务、用户自主部署的模型服务)
- 我的路由策略
输出方式
可选非流式、流式。
- 非流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,大语言模型完整生成回答后一次性返回。
- 流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,逐个字词的快速返回模式,不需等待大语言模型生成完成。
输出最大token数
模型在单次推理或生成内容时,能够输出的token(模型处理文本的基本单位)数量的最大值。取值范围为100~32768。
温度
较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。建议该参数和“多样性”只设置1个。
多样性
影响输出文本的多样性,取值越大,生成文本的多样性越强。建议该参数和“温度”只设置1个。
存在惩罚
介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语,更倾向于生成新词语。
频率惩罚
介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语,更倾向于生成较少见的单词。
内容安全监测配置
开关默认开启,可对输入及返回内容中的文本和图片进行安全监测,关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。
- 在右侧“效果预览”区域,可通过以下两种方式进行模型调测。
- 在对话输入框输入测试语句后按Enter键或单击
,查看模型响应结果。
- 单击“引用已有提示语模板”或单击输入框上方的“提示语模板”,在弹出的面板中选择“我创建的”、“我收藏的”或“平台预置的”提示语模板,然后按Enter键或单击
,查看模型响应结果。
- 在对话输入框输入测试语句后按Enter键或单击
- 在“模型类型”区域选择“文本对话”,配置表1所示参数。
- 图像理解
- 在“模型类型”区域选择“图像理解”,配置表2所示参数。
- 单击“生成图像理解”,在右侧“效果预览”区域查看模型响应效果。
- 文本向量化
- 在“模型类型”区域选择“文本向量化”,配置表3所示参数。
- 单击“生成向量化”,在右侧“效果预览”区域查看模型响应效果。
- 文本排序
- 在“模型类型”区域选择“文本排序”,配置表4所示参数。
- 单击“开始排序”,在右侧“效果预览”区域查看模型响应效果。
- 文本对话