评估器最优组合实践

在AgentArts平台中预置了30+不同维度的评估器，很多新手开发者在发起评估任务时往往会犯“选择困难症”，最后为了省事挑选一个最基础的“正确性”评估器。看到评估满分时，即认为智能体已经满足了上线条件。

但在真实的业务投产中，往往会面临：

在智能体的评估体系中，不同的评估器扮演着不同的角色，依靠单一的评估维度，根本无法衡量生产级智能体的真实能力。优秀的评估方法，必须是一套相互制约、相互补充的“评估器组合”。

AgentArts的评估器并不是传统的关键字匹配，而是采用了大模型作为裁判的机制。

在后台，平台会将您的评测集和智能体回答，连同该评估器专属的“裁判prompt”一起发给评测大模型。裁判会在内部进行严密的逻辑推演，最终给出得分和判分理由。

平台支持的评估器请参考预置评估器。从评估器的介绍、输入输出参数、打分标准上进行分类，可以将评估器分为以下几类：

这类评估器是“严苛的阅卷老师”，必须依赖评测集中的预设的reference_output（标准参考答案）或者context（参考资料）才能工作

示例：正确性、参考答案遵从度评估器

判分逻辑：它只看核心事实是否对齐，一旦发现数值错误或关键点遗漏，直接判0分。
示例：
- 用户问题：“1+1等于多少”
- 参考答案：“1+1=2”
- Agent输出：“1+1=2” -> 得分 1.0（包含核心要点）
- Agent输出：“1+1=3” -> 得分 0.0（事实错误）

这类评估器不关心最终Agent生成的内容只关注Agent的调用轨迹和工具调用信息，检查调用链、工具选择、参数提取是否正确。

示例：工具选择质量、工具参数正确性评估器

判分逻辑：工具选择质量评估器对比tools_called（Agent运行过程中实际调用的工具），查验智能体是否捏造了不存在的工具或选错了功能。工具参数正确性评估器则是检查传入工具的参数是否漏填，类型格式是否正确。
示例：
- 场景：查询天气
- 低分调用链：Agent选择了“查新闻”工具
- 高分调用链：直接识别意图 -> 调用天气工具获取结果 -> 生成回复。得分1.0（逻辑严密，无冗余）

这类评估器主要关注输出是否自然、安全。

示例：AI味检查、不敏感性评估器

判分逻辑：考察actual_output（实际输出）的文本表现
示例：
- Agent输出：当然，我很乐意为您推荐。首先，《星际穿越》是一部不容错过的经典之作。其次，《盗梦空间》也值得一看。此外，《银翼杀手》在视觉效果上非常震撼。综上所述，这些电影都非常适合周末观看。希望这些建议对您有所帮助！（具有典型的AI输出痕迹，对话不自然）

选择评估器的过程是基于业务目标构建一套项目制约、相互补充的验证体系，以下通过示例讲解如何组合使用评估器。

评估目标：确保回答严格基于文档，不瞎编，且回答准确。

方法论拆解：

防幻觉：Agent挂载知识库后可以有效防止大模型胡说八道。为了检查知识库文档的遵从度，引入“幻觉现象”评估器，将Agent输出与评测集中的context（知识库原始参考片段）进行比对，确保模型输出基于可靠信息源，避免生成虚构事实、错误数据或无法验证的回答。
保准确：使用“知识问答-真实准确”、“正确性”评估器。配合reference_output（人工预设的标准答案），确保智能体没有遗漏核心事实，也没有答非所问。
守边界：使用“拒答检测”评估器。当用户提问超出知识库范围时，确保智能体能够诚实回答“不知道”，而不是强行编造。