更新时间:2026-03-20 GMT+08:00
任务完成度
任务完成度评估器
分类 | 详情 | |
|---|---|---|
基础信息 | 评估器名称 | 任务完成度 |
效果说明 | 功能概述 | 通过比对用户输入与Agent输出,判断任务是否成功完成。 |
评估方式 | LLM评估 | |
评估目标 | 文本、任务完成 | |
应用场景 | 评估智能体是否准确理解并完整执行了用户指令,适用于端到端的评估Agent输出是否符合用户预期目标。 | |
评分标准 | 1.0分 | 满足所有要求,逻辑严谨,没有任何错误。 |
0.0分 | 未能满足要求,偏离目标,存在严重事实错误,或仅提供了无意义的礼貌性回复。 | |
评估器参数说明:
参数类型 | 参数名称 | 是否必填 | 参数说明 |
|---|---|---|---|
输入参数 | input | 是 | 用户的输入问题,提供评估的上下文背景。 |
actual_output | 是 | 智能体针对该问题的实际输出结果。 | |
输出参数 | score | 是 | 评估得分(0.0/1.0)。 |
reason | 是 | 评分理由说明。 |
输入格式示例:
{
"input": "请列出三个中国著名的历史人物。",
"actual_output": "孔子、秦始皇、李白。"
} 输出格式示例:
{
"score": 1.0,
"reason": "Agent 准确响应用户请求,列出三位中国著名历史人物,内容完整、无误,符合要求,因此得分为1.0。"
} 
