评测介绍

背景信息

随着大模型技术的不断进步和广泛应用，对模型效果的评估需求也在不断增加。在这种背景下，工作流评测和智能体评测成为了AI应用开发中的关键环节。

然而，传统的评测过程存在诸多挑战。从评测集的构建到评估任务的执行，再到评估报告的输出，手工操作步骤繁多，效率低下且容易出错。手工操作不仅耗时，而且难以全面覆盖所有可能的场景，缺乏智能化的分析与总结能力。这些不足严重影响了评测的准确性和可靠性，增加了开发者的负担。

为了应对这些挑战，智能体平台引入了评测功能，支持通过评估任务对智能体和工作流进行全面评估，并生成评估报告。通过自动化的评测流程，能够显著提高评测的效率和准确性。开发者可以轻松构建评测集和评估器，并执行评估任务，并获得详细的评估报告，从而识别智能体或工作流在哪些场景中表现不佳，具体存在哪些问题，并进行针对性的优化，确保在实际业务场景中的稳定性。

基础概念

评测是指通过一系列标准化的数据和评估标准，对AI Agent（智能体、工作流）效果评估的过程。评测功能旨在帮助开发者在多个维度上优化AI Agent，确保其在实际应用中表现更佳，同时提高开发效率和准确性。评测功能通常包括以下几个核心模块：

1. 评测集：用于评估智能体或工作流应用回复效果的一组数据。
   它通常包含两部分：输入数据和预期输出结果，帮助开发者验证评估对象的效果。

   • 输入数据（input）：在评估任务中，输入数据是提供给评估对象的输入数据，用于测试其在不同场景下的表现。
   • 预期输出（reference_output）：是理想化输出结果，作为评估对象实际输出的参考标准。通过比较评估对象的实际输出与预期输出，可以评估其准确性和可靠性。
2. 评估器：在评估任务中充当裁判的角色，负责根据设定的规则对评估对象的回复进行评分。
3. 评估任务：将评测集和评估器结合起来，对评估对象进行全面分析的过程。开发者可以通过分析评估任务的数据，帮助自己进行业务决策。

评测流程

以下流程图清晰呈现了评测过程的全流程，让您一目了然地掌握每一步操作，轻松了解评测的完整逻辑与实施方式。

图1 评测流程

应用场景

上线前评测

为了确保智能体或工作流能够满足实际业务需求并达到预期效果，在正式发布前，我们通常需要对其准确率进行评测。这一过程类似于软件开发中的质量检查，主要目的是通过在各种预设场景下测试智能体或工作流的响应，确保其表现符合预期标准。通过这种评测，我们可以提前发现并解决潜在的问题，有效降低上线后可能出现的质量问题风险，从而保证智能体或工作流的稳定性和可靠性。