知识问答-精练性
知识问答-精练性评估器
|
分类 |
详情 |
|
|---|---|---|
|
基础信息 |
评估器名称 |
知识问答-精练性 |
|
效果说明 |
功能概述 |
评估回复内容的精炼程度,检查是否存在语义重复、结构冗余或无关的社交废话。 |
|
评估方式 |
LLM评估 |
|
|
评估目标 |
文本、输出质量 |
|
|
应用场景 |
适用于信息检索、快速问答、移动端交互、专业报告等需要高效传递信息的场景,确保模型输出简洁有力,无冗余赘述,用户能快速获取核心要点。 |
|
|
评分标准 |
1.0分 |
内容高度精炼,无语义重复、无结构冗余、无社交废话,信息密度高,每句均有实质价值。 |
|
0.75分 |
内容较为精炼,偶有轻微重复或冗余表述,社交废话极少,不影响核心信息获取效率。 |
|
|
0.5 |
内容精炼度一般,存在明显语义重复或结构冗余,含少量社交废话,需用户自行筛选关键信息。 |
|
|
0.25 |
内容冗长,大量重复表述或无关内容,社交废话较多,核心信息被淹没,阅读效率低。 |
|
|
0.0分 |
内容极度冗余,通篇重复、结构混乱或充斥无关社交话术,几乎无有效信息输出。 |
|
评估器参数说明:
|
参数类型 |
参数名称 |
是否必填 |
参数说明 |
|---|---|---|---|
|
输入参数 |
actual_output |
是 |
智能体针对该问题的实际输出结果。 |
|
输出参数 |
score |
是 |
评估得分(0.0 / 0.25 / 0.5 / 0.75 / 1.0)。 |
|
reason |
是 |
评分理由说明。 |
输入格式示例:
{
"actual_output": "量子计算利用叠加态和纠缠态,在特定问题上远超经典计算机。"
}
输出格式示例:
{
"score": 1.0,
"reason": "量子计算利用叠加态和纠缠态,在特定问题上远超经典计算机。"
}