更新时间:2026-04-16 GMT+08:00
分享

标注评估结果

在任务评估完成后,可对评估结果进行人工标注,以补充判断、提升结果的可解释性与实用性。通过标注,您可以:

  • 为每条评估结果添加定制化的标注(如“正确”“错误”“模糊”“不相关”等),明确其质量等级或问题类型。
  • 对异常或争议样本进行归类,便于后续分析与复盘。
  • 为模型优化、数据治理和报告撰写提供高质量的标注依据。

约束与限制

表1 使用限制

限制

说明

每条数据的标注数量

每条数据最多支持添加5个标注。

创建标注的数量

最多支持创建500个标注。

分类标注选项数量上限

分类标注最多可添加20个标注选项

步骤一:创建标注

在开始标注前,请先创建所需的标注。标注创建后,您可在标注过程中选择对应标注,并填写具体的值,便于后续分析与使用。

  1. 登录AgentArts智能体开发平台
  2. 在左侧导航栏中选择“运营运维 > 评估”,在“人工标注”页签中,单击右上角的“创建人工标注”。
    图1 创建标注
  3. 在“创建人工标注”弹框中参考表2完成配置,并单击“确定”
    图2 配置示例
    表2 新增标注

    参数

    说明

    示例

    名称

    标注的名称。

    命名规则:

    • 命名要求:支持中文、英文、数字、下划线(_)。
    • 长度限制:1~50个字符。

    结果是否存在争议性

    描述(可选)

    标注的描述信息,用于标识标注的用途及使用方式。

    长度限制:0~200个字符。

    标注模型对用户输入的回复是否保持了客观、中立、无争议。

    标注配置

    支持以下几种类型,以满足不同场景下的标注需求:

    • 分类:适用于对数据行分类的场景。创建分类标注时,可以添加多个分类(上限为20个),每个选项的名称不能重复。

      支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。

    • 布尔值:适用于二选一的场景(如“成功”或“失败”、“是”或“否”)。创建时需自定义两个对立选项的名称。

      支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。

    • 数字:适用于对数据进行评分的场景。

      在使用数字类型的标注时,输入范围限制为-999999~999999。

    • 文本:适用于纯文本类型的标注,您可以输入任何文本内容,没有特定的限制。

      支持中文、英文、数字、下划线(_)。长度限制为1~200个字符。

    布尔值

  4. 单击“确定”。创建成功后,可以在“人工标注管理”页签中查看创建成功的标注信息。

步骤二:人工标注评估结果

标注创建完成之后,您就可以开始进行标注。

  1. 在左侧导航栏中选择“运营运维 > 评估”, 在“评估任务”页签中找到目标任务,单击任务名称进入详情页面。
  2. 在 “评估结果” 页签中,单击 “人工标注管理”,选择需要添加的标注。
    如果没有适合的标注,可单击“创建人工标注”定义新的标注,具体操作请参考步骤一:创建标注
    图3 人工标注管理
  3. 标注添加成功后,评估结果中将新增一列或多列,列名为所添加的标注名称。您可在相应标注列中为每条数据设置对应的值。
  4. 单击“保存标注”,即可完成数据的人工标注。

    标注完成后,可以利用标注结果进行数据筛选,或在“评估报告”页签中查标注的具体情况。

步骤三:查看标注结果

完成人工标注后,可以在“评估结果”“评估报告”页签,查看详细的标注信息、标注分布,便于复核、追溯与后续决策支持。

图4 在评估结果中查看标注
图5 在评估报告中查看标注

更多操作

标注创建完成后,您还可以执行如表3的操作。

表3 相关操作

操作

说明

编辑人工标注

修改标注的基础信息。

  1. 在人工标注列表中,找到需要编辑的标注,单击操作列的“编辑”,在“编辑人工标注”的弹框中修改标注的内容。
  2. 修改完成后单击“确定”保存修改的内容。

    修改标注信息后,所有已使用该标注的数据项将自动更新为最新的信息。

编辑标注

修改标注的内容。

  1. “评估任务详情”页面中,单击“编辑标注”,在标注信息列中修改标注的内容。
  2. 修改完成后单击“保存标注”保存修改的内容。
    图6 编辑标注信息

相关文档