步骤四：测试模型调优效果

前提条件

部署模型服务已成功，即模型服务状态处于“运行中”。

在线测试

1. 在AI原生应用引擎工作台的左侧导航栏选择“模型中心 > 模型调测”。
2. 在“模型调测”页面，“模型类型”选择“文本对话”并配置以下参数。
   • 选择模型：在下拉列表可选我微调后的模型、平台预置模型、第三方模型。
   • 输出方式：可选非流式、流式。二者区别如下：
     • 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。
     • 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个token的快速返回模式，不用等待大语言模型生成完成。
   • 输入加输出最大token数：简称max_length，表示模型输入+输出的最大长度。
   • 温度：简称temperature，较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和“多样性”（top_p）只设置1个。
   • 多样性：简称top_p，影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”（temperature）只设置1个。
   • 存在惩罚：简称presence_penalty，可设置介于-2.0和2.0之间的数字。正值会根据它们是否出现在文本中迄今为止来惩罚新令牌，从而增加模型谈论新主题的可能性。
   • 频率惩罚：简称frequency_penalty，可设置介于-2.0和2.0之间的数字。正值会根据文本中新令牌的现有频率对其进行惩罚，从而降低模型重复相同行的可能性。

3. 在右侧“效果预览”区域，可通过以下两种方式进行模型测试。
   • 在对话输入框输入测试语句后按Enter键或单击进行模型测试。
   • 单击“引用已有模板”，弹出“选择模板”面板，可通过分类筛选我创建的、我收藏的或平台预置的提示语模板，然后按Enter键或单击进行模型测试。

   输入相同的问题，可以看到微调前模型返回结果是错误的，而微调后模型返回了正确的计算指标数据的关键要素。