知识问答-丰富度
知识问答-丰富度评估器
|
分类 |
详情 |
|
|---|---|---|
|
基础信息 |
评估器名称 |
知识问答-丰富度 |
|
效果说明 |
功能概述 |
考察模型回复的丰富度和特异性,识别并剥离冗余套话,评估核心信息、支撑证据及延展知识的厚度。 |
|
评估方式 |
LLM评估 |
|
|
评估目标 |
文本、输出质量 |
|
|
应用场景 |
适用于深度咨询、专业研究、复杂问题解答等场景,评估模型输出是否提供充足的核心信息、可靠的支撑证据及有价值的延展知识,同时避免用套话堆砌冒充丰富。 |
|
|
评分标准 |
1.0分 |
内容丰富且特异,核心信息厚实,支撑证据充分可靠,延展知识有价值,无冗余套话,信息密度与深度俱佳。 |
|
0.75分 |
内容较为丰富,核心信息较充实,有一定支撑证据和延展知识,偶有轻微套话但不影响实质价值。 |
|
|
0.5 |
内容丰富度一般,核心信息单薄或部分依赖套话填充,支撑证据不足,延展知识有限,价值感不明显。 |
|
|
0.25 |
内容贫瘠,大量冗余套话掩盖信息空洞,核心信息匮乏,缺乏支撑证据,延展知识无关或错误。 |
|
|
0.0分 |
内容极度贫乏,通篇套话无实质信息,无核心内容、无证据、无延展知识,完全无价值。 |
|
评估器参数说明:
|
参数类型 |
参数名称 |
是否必填 |
参数说明 |
|---|---|---|---|
|
输入参数 |
input |
是 |
用户的输入问题,提供评估的上下文背景。 |
|
actual_output |
是 |
智能体针对该问题的实际输出结果。 |
|
|
输出参数 |
score |
是 |
评估得分(0.0 / 0.25 / 0.5 / 0.75 / 1.0)。 |
|
reason |
是 |
评分理由说明。 |
输入格式示例:
{
"input": "什么是量子计算?",
"actual_output": "这是一个复杂的问题。"
}
输出格式示例:
{
"score": 0.0,
"reason": "回复完全由套话构成,未提供核心信息、支撑证据或延展内容,特异性为零。"
}