# 预置评估器概览 AgentArts智能体平台提供了丰富的预置评估器，用于智能体和工作流的质量评估。这些评估器根据不同的使用场景和评估需求进行了分类，支持离线评估、在线评估或同时支持两者。用户可根据具体的评估目标和数据来源选择合适的评估器，确保评估结果的准确性和有效性。 离线评估：在应用上线前，使用预设的评测集对智能体进行效果测试。 在线评估：应用上线后，系统基于真实的运行数据（调用链、工具等）自动对智能体产生的数据进行采样和评估。 #### 评估器判定原理 表1判定原理 | 判定类型 | 说明 | 适用场景 | |:---|:---|:---| | 模型判定 | 依托大模型作为裁判，根据预设的Prompt对智能体的输出进行主观或半主观评分。 | 适用于非确定性、语义理解类、开放性输出的评估任务，如自然语言生成质量、对话逻辑合理性、创意内容生成等。 | | 代码判定 | 通过确定性代码逻辑（如正则匹配、JSON校验、数学计算）对输出进行二元判断。 | 适用于输出结果具有明确格式、可执行逻辑或数学计算的确定性任务，如数据处理结果比对、数值计算准确性等。 | #### 评估器支持任务详情 预置评估器根据判定原理分为**模型判定** 和**代码判定** 两大类。根据**评估任务的运行模式** （**在线评估** /**离线评估**），各评估器的支持情况如下表所示： 表2支持情况概览 | 适用场景 | 判定类型 | 支持的评估器 | |:---|:---|:---| | 仅支持离线评估 | 模型判定 | [参考答案遵从度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0049.html)、[Skill完整度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0135.html)、[Skill相关性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0136.html)、[Skill威胁分析](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0137.html)、[Skill声明对齐](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0138.html)、[Skill设计质量](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0139.html) | | 仅支持离线评估 | 代码判定 | [文本等值判断](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0077.html)、[文本包含判断](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0078.html)、[文本正则匹配](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0079.html)、[文本起始子串判断](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0080.html)、[文本JSON格式校验](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0081.html)、[数学表达式相等判断](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0082.html)、[JSON相等判断](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0083.html) | | 仅支持在线评估 | 模型判定 | [轨迹质量](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0045.html)、[工具参数正确性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0050.html)、[工具选择质量](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0051.html)、[轨迹-工具参数填充正确性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0073.html) | | 同时支持离线与在线评估 | 模型判定 | [正确性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0042.html)、[AI味检查](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0043.html)、[任务完成度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0044.html)、[不敏感性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0046.html)、[争议性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0047.html)、[创意性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0048.html)、[幻觉现象](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0052.html)、[性别歧视](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0053.html)、[恶意性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0054.html)、[指令遵从度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0055.html)、[拒答检测](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0056.html)、[格式检查](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0057.html)、[语种一致性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0058.html)、[文本可用性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0059.html)、[安全风险漏放](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0060.html)、[有害性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0061.html)、[有用性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0062.html)、[深度性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0063.html)、[犯罪性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0064.html)、[引用相关性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0065.html)、[知识问答-指令遵循](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0066.html)、[知识问答-真实准确](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0067.html)、[知识问答-精炼性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0068.html)、[知识问答-便捷性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0069.html)、[知识问答-丰富度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0070.html)、[简洁性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0071.html)、[细节丰富度](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0072.html)、[轮次相关性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0074.html)、[知识保持](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0075.html)、[对话完整性](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0076.html)、[角色违规](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0134.html)、[主题遵从](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0120.html)、[角色遵从](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0121.html)、[Rubric评估](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0140.html) | #### 常见业务场景 - RAG知识问答场景：推荐使用"知识问答-真实准确、知识问答-精炼性、引用相关性"等评估器。 - 内容安全合规场景：推荐使用"恶意性、犯罪性、性别歧视、安全风险漏放"等评估器。 - 工具调用场景：推荐使用"轨迹质量、工具参数正确性、工具选择质量"等评估器。 - 通用对话质量场景：推荐使用"正确性、对话完整性、指令遵从度"等评估器。 #### 相关文档 - [创建离线评估任务](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0086.html) - [创建在线评估任务](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0087.html)