标注评估结果
在任务评估完成后,可对评估结果进行人工标注,以补充判断、提升结果的可解释性与实用性。通过标注,您可以:
- 为每条评估结果添加定制化的标注(如“正确”“错误”“模糊”“不相关”等),明确其质量等级或问题类型。
- 对异常或争议样本进行归类,便于后续分析与复盘。
- 为模型优化、数据治理和报告撰写提供高质量的标注依据。
约束与限制
|
限制 |
说明 |
|---|---|
|
每条数据的标注数量 |
每条数据最多支持添加5个标注。 |
|
创建标注的数量 |
最多支持创建500个标注。 |
|
分类标注选项数量上限 |
分类标注最多可添加20个标注选项 |
步骤一:创建标注
在开始标注前,请先创建所需的标注。标注创建后,您可在标注过程中选择对应标注,并填写具体的值,便于后续分析与使用。
- 登录AgentArts智能体开发平台。
- 在左侧导航栏中选择“运营运维 > 评估”,在“人工标注”页签中,单击右上角的“创建人工标注”。
图1 创建标注
- 在“创建人工标注”弹框中参考表2完成配置,并单击“确定”。
图2 配置示例
表2 新增标注 参数
说明
示例
名称
标注的名称。
命名规则:
- 命名要求:支持中文、英文、数字、下划线(_)。
- 长度限制:1~50个字符。
结果是否存在争议性
描述(可选)
标注的描述信息,用于标识标注的用途及使用方式。
长度限制:0~200个字符。
标注模型对用户输入的回复是否保持了客观、中立、无争议。
标注配置
支持以下几种类型,以满足不同场景下的标注需求:
- 分类:适用于对数据行分类的场景。创建分类标注时,可以添加多个分类(上限为20个),每个选项的名称不能重复。
支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。
- 布尔值:适用于二选一的场景(如“成功”或“失败”、“是”或“否”)。创建时需自定义两个对立选项的名称。
支持中文、英文、数字、下划线(_)。长度限制为1~50个字符。
- 数字:适用于对数据进行评分的场景。
在使用数字类型的标注时,输入范围限制为-999999~999999。
- 文本:适用于纯文本类型的标注,您可以输入任何文本内容,没有特定的限制。
支持中文、英文、数字、下划线(_)。长度限制为1~200个字符。
布尔值
- 是
- 否
- 单击“确定”。创建成功后,可以在“人工标注管理”页签中查看创建成功的标注信息。
步骤二:人工标注评估结果
标注创建完成之后,您就可以开始进行标注。
- 在左侧导航栏中选择“运营运维 > 评估”, 在“评估任务”页签中找到目标任务,单击任务名称进入详情页面。
- 在 “评估结果” 页签中,单击 “人工标注管理”,选择需要添加的标注。
- 标注添加成功后,评估结果中将新增一列或多列,列名为所添加的标注名称。您可在相应标注列中为每条数据设置对应的值。
- 单击“保存标注”,即可完成数据的人工标注。
标注完成后,可以利用标注结果进行数据筛选,或在“评估报告”页签中查标注的具体情况。
步骤三:查看标注结果
完成人工标注后,可以在“评估结果”或“评估报告”页签,查看详细的标注信息、标注分布,便于复核、追溯与后续决策支持。
更多操作
标注创建完成后,您还可以执行如表3的操作。

