更新时间：2026-04-16 GMT+08:00
人工标注Trace数据
调用链数据记录了业务运行的完整过程（如调用链路、输入输出及执行状态）。通过创建自定义标注，您可以对数据进行分类（例如标记异常或关键事件），从而快速定位问题、识别业务规律，有效提升业务评估与迭代效率。
约束与限制
|
限制 |
说明 |
|---|---|
|
每条数据的标注数量 |
每条数据最多支持添加20个标注。 |
|
创建标注的数量 |
最多支持创建500个标注。 |
|
分类标注选项数量上限 |
分类标注最多可添加20个标注选项 |
|
数据上报限制 |
仅通过API调用产生的数据才会上报到运营运维。使用API调用智能体，请参考API调用实践。 |
步骤一：创建标注
在开始标注前，请先创建所需的标注。标注创建后，您可在标注过程中选择对应标注，并填写具体的值，便于后续分析与使用。
- 登录AgentArts智能体开发平台。
- 在左侧导航栏中选择“运营运维 > 评估”，在“人工标注”页签中，单击右上角的“创建人工标注”。
图1 创建标注
- 在“创建人工标注”弹框中参考表2完成配置，并单击“确定”。
图2 配置示例
表2 新增标注 参数
说明
示例
名称
标注的名称。
命名规则：
- 命名要求：支持中文、英文、数字、下划线（_）。
- 长度限制：1~50个字符。
结果是否存在争议性
描述（可选）
标注的描述信息，用于标识标注的用途及使用方式。
长度限制：0~200个字符。
标注模型对用户输入的回复是否保持了客观、中立、无争议。
标注配置
支持以下几种类型，以满足不同场景下的标注需求：
- 分类：适用于对数据行分类的场景。创建分类标注时，可以添加多个分类（上限为20个），每个选项的名称不能重复。
支持中文、英文、数字、下划线（_）。长度限制为1~50个字符。
- 布尔值：适用于二选一的场景（如“成功”或“失败”、“是”或“否”）。创建时需自定义两个对立选项的名称。
支持中文、英文、数字、下划线（_）。长度限制为1~50个字符。
- 数字：适用于对数据进行评分的场景。
在使用数字类型的标注时，输入范围限制为-999999~999999。
- 文本：适用于纯文本类型的标注，您可以输入任何文本内容，没有特定的限制。
支持中文、英文、数字、下划线（_）。长度限制为1~200个字符。
布尔值
- 是
- 否
- 单击“确定”。创建成功后，可以在“人工标注管理”页签中查看创建成功的标注信息。
步骤二：添加标注
标签创建完成之后，可以在“运营运维 > 观测 > 调用链分析”，页签中对调用链数据进行标注。
- 在左侧导航栏中选择“运营运维 > 观测”，在“调用链分析”页签中找到需要标注的调用链数据。
例如，过滤出最近1周的单智能体应用中旅游助手上报的调用链数据。
- 在过滤后的调用链数据列表中，单击任意一条调用数据进入详情页面。
- 在详情页面中，仔细查看调用链数据的调用树，以及每个节点的输入和输出信息，单击“人工标注”。
- 在“人工标注”的弹框中，单击“添加标注”从下拉框中选择已创建的标签，并根据需要填入标签的具体值。
如果需要添加多个标签，可以重复单击“+添加标注”按钮，选择不同的标签并填写相应的值。最多添加20个标注。图3 人工标注
- 单击“确定”，完成标注信息的添加。
步骤三：查看标注结果
标注完成后，可以在调用链详情页的“标注”页签下查看详细信息。
支持将标注结果作为筛选条件，筛选出符合特定场景的调用链数据回流至评测集，用于后续智能体评估。数据回流请参考Trace数据回流。
图4 查看标注结果
