知识问答-真实准确
知识问答-真实准确评估器
|
分类 |
详情 |
|
|---|---|---|
|
基础信息 |
评估器名称 |
知识问答-真实准确 |
|
效果说明 |
功能概述 |
评估客观类事实真实性,时效性,计算的准确性,知识的正确性。 |
|
评估方式 |
LLM评估 |
|
|
评估目标 |
文本、输出质量 |
|
|
应用场景 |
适用于知识问答、事实核查、数据计算、专业咨询等场景,确保模型输出的事实信息真实可靠、数据计算准确无误、知识时效性符合要求,避免传播错误信息或过时内容。 |
|
|
评分标准 |
1.0分 |
事实真实准确,数据计算无误,知识时效性符合要求,所有客观陈述均可验证,无错误信息。 |
|
0.0分 |
存在事实错误、数据计算偏差、知识过时或无法验证的陈述,客观信息不准确或不可靠。 |
|
评估器参数说明:
|
参数类型 |
参数名称 |
是否必填 |
参数说明 |
|---|---|---|---|
|
输入参数 |
input |
是 |
用户的输入问题,提供评估的上下文背景。 |
|
actual_output |
是 |
智能体针对该问题的实际输出结果。 |
|
|
输出参数 |
score |
是 |
评估得分(0.0 / 1.0)。 |
|
reason |
是 |
评分理由说明。 |
输入格式示例:
{
"input": "2026年个人所得税起征点是多少?",
"actual_output": "根据2024年政策,个税起征点为每月5000元。"
}
输出格式示例:
{
"score": 0.0,
"reason": "核心信息完全过时且具有严重误导性。用户查询的是2026年的个税起征点,而模型回复提供的是2024年的政策信息(每月5000元)。税收政策属于高时效性信息,每年都可能调整,将两年前的旧政策作为当前(2026年)信息回复,导致答案完全失去参考价值,属于核心事实错误。"
}