更新时间:2026-11-02 GMT+08:00
分享

答案相关性

答案相关性评估器

表1 评估器信息

分类

详情

基础信息

评估器名称

答案相关性。

效果说明

功能概述

评估模型回答与用户提问的相关程度。

评估方式

模型判定。

评估目标

输出质量。

类型

单轮对话。

适用场景

离线评估、在线评估。

应用场景

评估模型回答与用户提问的相关程度。

评分标准

0.0-1.0分之间

  • 1.0分:完全相关,表示回答中的所有陈述均与用户问题相关,无任何无关内容,信息高度聚焦。
  • 0.5分:部分相关,表示回答中存在部分与问题无关的陈述,但整体仍回应了核心诉求。
  • 0.0分:完全不相关,表示回答内容与用户问题无关,或大部分陈述偏离主题。

评估器参数说明:

表2 评估器参数说明

参数类型

参数名称

是否必填

参数说明

输入参数

input

是

用户输入,提供评估的上下文背景。

actual_output

是

智能体针对该输入的实际输出结果。

输出参数

score

是

评估得分(0.0-1.0分之间)。

reason

是

评分理由说明,如果分数较低,必须明确指出哪些陈述与问题无关。

使用该评估器前,需要在评测集中为每条测试数据准备好input(用户输入)和actual_output(智能体实际输出)。评估时平台会自动将数据传入评估Prompt,严格按照评分标准中定义的维度、等级和描述进行逐维度评分,最终给出综合评分。各字段的推荐映射方式如下:

输入格式示例:

{
  "input": "法国的首都是哪里?",
  "actual_output": "巴黎是法国的首都。巴黎以埃菲尔铁塔闻名。"
}

输出格式示例:

{
  "score": 1.0,
  "reason": "答案准确且完整地回答了问题,两条声明均与输入问题相关,没有出现无关或离题内容,因此得分1.0。"
}

相关文档