标注评估结果
在任务评估完成后,可对自动化评估结果进行人工标注,以补充判断、提升结果的可解释性与实用性。通过标注,您可以:
- 为每条评估结果添加定制化的标签(如“正确”“错误”“模糊”“不相关”等),明确其质量等级或问题类型。
- 对异常或争议样本进行归类,便于后续分析与复盘。
- 为模型优化、数据治理和报告撰写提供高质量的标注依据。
约束与限制
|
限制 |
说明 |
|---|---|
|
每条数据的标签数量 |
每条数据最多支持添加5个标签。 |
|
创建标签的数量 |
最多支持创建500个标签。 |
|
分类标签选项数量上限 |
分类标签最多可添加20个标签选项 |
创建标签
在开始标注前,请先创建所需的标签。标签创建后,您可在标注过程中选择对应标签,并填写具体的标签值,便于后续分析与使用。
- 登录AgentArts智能体开发平台,在左侧导航栏“个人空间”区域,选择目标空间。
- 在左侧导航栏中选择“运营运维 > 评估”,在“标签管理”页签中,单击右上角的“创建标签”。
图1 创建标签
- 在“创建标签”弹框中参考表2完成配置,并单击“确定”。
表2 新增标签 参数
说明
标签名称
标签的名称。
命名规则:
- 命名要求:支持中文、英文、数字、下划线(_)。
- 长度限制:2~50个字符。
描述(可选)
标签的描述信息,用于标识标签的用途及使用方式。
长度限制:0~200个字符。
标签类型
支持以下几种标签类型,以满足不同场景下的标注需求:
- 分类:适用于对数据行分类的场景。创建分类标签时,可以添加多个分类,每个类型的名称不能重复。
支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。
- 布尔值:适用于二选一的场景,如“成功”或“失败”、“是”或“否”等。
支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。
- 数字:适用于对数据进行评分的场景。
在使用数字类型的标签时,输入范围限制为-999999~999999。
- 文本:适用于纯文本类型的标注,您可以输入任何文本内容,没有特定的限制。
支持中文、英文、数字、下划线(_)。长度限制为1~200个字符。
- 单击“确定”。创建成功后,可以在“标签管理”页签中查看创建成功的标签。
人工标注评估结果
标签创建完成之后,您就可以开始进行标注。
- 在左侧导航栏中选择“运营运维 > 评估”, 在“评估任务”页签中找到目标任务,单击任务名称进入详情页面。
- 在 “评估结果” 页签中,单击 “人工标注管理”,选择需要添加的标签。
如果没有适合的标签,可单击“创建标签”定义新的标签,具体操作请参考创建标签。
图2 人工标注管理
- 标签添加成功后,评估结果中将新增一列或多列,列名为所添加的标签名称。您可在相应标签列中为每条数据设置对应的标签值。
- 单击“保存标注”,即可完成数据的人工标注。
标注完成后,可以利用标注结果进行数据筛选,或在“评估报告”页签中查标注的具体情况。
查看标注结果
完成人工标注后,可以在“评估结果”或“评估报告”页签,查看详细的标注信息、标签分布,便于复核、追溯与后续决策支持。
更多操作
标签创建完成后,您还可以执行如表3的操作。