调测模型服务

调测模型服务

1. 进入AI原生应用引擎。
2. 在AI原生应用引擎左侧导航栏选择“模型中心 > 我的模型服务”，选择“我的模型服务 > 我部署的”页签。
3. 在模型服务列表中，单击目标模型服务操作列的“模型调测”，进入模型调测页面。
4. 在“模型调测”页面，可调测如下几种类型“我部署的”模型服务：
   • 文本对话
     1. 在“模型类型”区域选择“文本对话”，配置表1所示参数。

        表1 文本对话类型模型参数说明

        参数	说明
        模型服务	默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： 模型服务商API（平台接入的第三方厂商模型服务） 预置模型API（平台预置的模型服务） 我的模型API（用户自主接入的模型服务、用户自主部署的模型服务） 我的路由策略
        输出方式	可选非流式、流式。 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。
        输出最大token数	模型在单次推理或生成内容时，能够输出的token（模型处理文本的基本单位）数量的最大值。取值范围为100~32768。
        温度	较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和“多样性”只设置1个。
        多样性	影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”只设置1个。
        存在惩罚	介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语，更倾向于生成新词语。
        频率惩罚	介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。
        内容安全监测配置	开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 在右侧“效果预览”区域，可通过以下两种方式进行模型调测。
        • 在对话输入框输入测试语句后按Enter键或单击，查看模型响应结果。
        • 单击“引用已有提示语模板”或单击输入框上方的“提示语模板”，在弹出的面板中选择“我创建的”、“我收藏的”或“平台预置的”提示语模板，然后按Enter键或单击，查看模型响应结果。
   • 文本向量化
     1. 在“模型类型”区域选择“文本向量化”，配置表2所示参数。

        表2 文本向量化类型模型参数说明

        参数	说明
        模型服务	默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： 模型服务商API（平台接入的第三方厂商模型服务） 预置模型API（平台预置的模型服务） 我的模型API（用户自主接入的模型服务、用户自主部署的模型服务）
        请输入文本	输入待向量化的文本，可参照以下示例： 示例1：那是个快乐的人 示例2： ["那是个快乐的人", "那是个高兴的人", "那是个忧郁的人"]
        内容安全监测配置	开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 单击“生成向量化”，在右侧“效果预览”区域查看模型响应效果。
   • 文本排序
     1. 在“模型类型”区域选择“文本排序”，配置表3所示参数。

        表3 文本排序类型模型参数说明

        参数名称	参数说明
        模型服务	默认展示所选的模型服务。 您也可以在下拉列表切换以下模型服务： 预置模型API（平台预置的模型服务） 我的模型API（用户自主接入的模型服务、用户自主部署的模型服务）
        待排序文本	输入待排序文本。单击添加文本，最多可以添加10条。
        被展示文本条数	文本排序完成后，展示的条数。取值范围为1~10。
        我的问题	描述想要解决的问题。
        内容安全监测配置	开关默认开启，可对输入内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 单击“开始排序”，在右侧“效果预览”区域查看模型响应效果。

相关文档

模型调测时，无法选择模型服务商API是什么原因。