更新时间:2026-04-22 GMT+08:00
分享

人工标注Trace数据

调用链数据记录了业务运行的完整过程(如调用链路、输入输出及执行状态)。通过创建自定义标注,您可以对数据进行分类(例如标记异常或关键事件),从而快速定位问题、识别业务规律,有效提升业务评估与迭代效率。例如,在对话类应用中,您可以标注“幻觉”或“语气不当”的回复,以便后续筛选出劣质案例进行模型优化。

约束与限制

表1 使用限制

限制

说明

每条数据的标注数量

每条数据最多支持添加20个标注。

创建标注的数量

最多支持创建500个标注。

分类标注选项数量上限

分类标注最多可添加20个标注选项

数据上报限制

仅通过API调用产生的数据才会上报到运营运维。使用API调用智能体,请参考API调用实践

步骤一:创建标注

在开始标注前,请先创建所需的标注。标注创建后,您可在标注过程中选择对应标注,并填写具体的值,便于后续分析与使用。

  1. 登录AgentArts智能体开发平台
  2. 在左侧导航栏中选择“运营运维 > 评估”,在“人工标注”页签中,单击右上角的“创建人工标注”。
    图1 创建标注
  3. 在“创建人工标注”弹框中参考表2完成配置,并单击“确定”
    图2 配置示例
    表2 新增标注

    参数

    说明

    示例

    名称

    标注的名称。

    命名规则

    • 命名要求:支持中文、英文、数字、下划线(_)。
    • 长度限制:1~50个字符。

    结果是否存在争议性

    描述(可选)

    标注的描述信息,用于标识标注的用途及使用方式。

    长度限制:0~200个字符。

    标注模型对用户输入的回复是否保持了客观、中立、无争议。

    标注配置

    支持以下几种类型,以满足不同场景下的标注需求:

    • 分类:适用于对数据行分类的场景。创建分类标注时,可以添加多个分类(上限为20个),每个选项的名称不能重复。

      支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。

    • 布尔值:适用于二选一的场景(如“成功”或“失败”、“是”或“否”)。创建时需自定义两个对立选项的名称。

      支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。

    • 数字:适用于对数据进行评分的场景。

      在使用数字类型的标注时,输入范围限制为-999999~999999。

    • 文本:适用于纯文本类型的标注,您可以输入任何文本内容,没有特定的限制。

      支持中文、英文、数字、下划线(_)。长度限制为1~200个字符。

    布尔值:是/否

  4. 单击“确定”。创建成功后,可以在“人工标注管理”页签中查看创建成功的标注信息。

步骤二:添加标注

标签创建完成之后,可以在“运营运维 > 观测 > 调用链分析”页签中对调用链数据进行标注。

  1. 在左侧导航栏中选择“运营运维 > 观测”,在“调用链分析”页签中找到需要标注的调用链数据。

    例如,过滤出最近1周的单智能体应用中旅游助手上报的调用链数据。

    请确保目标应用已通过API调用产生并上报了数据,否则调用链列表可能为空。

  2. 在过滤后的调用链数据列表中,单击任意一条调用数据进入详情页面。
  3. 在详情页面中,仔细查看调用链数据的调用树,以及每个节点的输入和输出信息,单击“人工标注”
  4. “人工标注”的弹框中,单击“添加标注”从下拉框中选择已创建的标注,并根据需要填入标注的具体值。
    如果需要添加多个标注,可以重复单击“+添加标注”按钮,选择不同的标注并填写相应的值。最多添加20个标注。
    图3 人工标注
  5. 单击“确定”,完成标注信息的添加。

步骤三:查看标注结果

标注完成后,可以在调用链详情页的“标注”页签下查看详细信息。

支持将标注结果作为筛选条件,筛选出符合特定场景的调用链数据回流至评测集,用于后续智能体评估。数据回流请参考Trace数据回流

图4 查看标注结果

常见问题

添加标注时,“添加标注”按钮置灰怎么办?

每条调用链数据最多支持添加20个标注,如无法继续添加,请检查是否已达上限,或删除该条数据上不需要的标注后重试。

相关文档