答案相关性
答案相关性评估器
| 分类 | 详情 | |
|---|---|---|
| 基础信息 | 评估器名称 | 答案相关性。 |
| 效果说明 | 功能概述 | 评估模型回答与用户提问的相关程度。 |
| 评估方式 | 模型判定。 | |
| 评估目标 | 输出质量。 | |
| 类型 | 单轮对话。 | |
| 适用场景 | 离线评估、在线评估。 | |
| 应用场景 | 评估模型回答与用户提问的相关程度。 | |
| 评分标准 | 0.0-1.0分之间 |
|
评估器参数说明:
| 参数类型 | 参数名称 | 是否必填 | 参数说明 |
|---|---|---|---|
| 输入参数 | input | 是 | 用户输入,提供评估的上下文背景。 |
| actual_output | 是 | 智能体针对该输入的实际输出结果。 | |
| 输出参数 | score | 是 | 评估得分(0.0-1.0分之间)。 |
| reason | 是 | 评分理由说明,如果分数较低,必须明确指出哪些陈述与问题无关。 |
使用该评估器前,需要在评测集中为每条测试数据准备好input(用户输入)和actual_output(智能体实际输出)。评估时平台会自动将数据传入评估Prompt,严格按照评分标准中定义的维度、等级和描述进行逐维度评分,最终给出综合评分。各字段的推荐映射方式如下:
输入格式示例:
{
"input": "法国的首都是哪里?",
"actual_output": "巴黎是法国的首都。巴黎以埃菲尔铁塔闻名。"
} 输出格式示例:
{
"score": 1.0,
"reason": "答案准确且完整地回答了问题,两条声明均与输入问题相关,没有出现无关或离题内容,因此得分1.0。"
}