审核并验收团队标注任务结果

审核团队标注任务结果

团队标注成员完成后，团队审核者可以对标注结果进行审核。

登录ModelArts管理控制台，左侧菜单栏选择“数据准备>数据标注”，在数据标注页面选择“我参与的”，在任务列表“操作”列单击“审核”，发起审核。
图1 发起审核
在审核页面中，审核人员可以查看“未审核”、“已审核”、“审核通过”、“审核不通过”的样本。
图2 标注结果审核
审核人员可以在审核页面的右侧选择“审核结果”（“通过”或“不通过”）。
当选择审核结果为“通过”时，需设置“验收评分”（分“A”、“B”、“C”、“D”四个选项，“A”表示最高分），如图3所示。当选择审核结果为“不通过”时，可以在文本框中写明驳回原因，如图4所示。

图3 审核通过

 图4 审核不通过

任务验收（管理员）

发起验收
当团队的成员已完成数据标注，标注作业的创建者可发起验收，对标注结果进行抽验。只有当标注成员存在标注完成的数据时，才可以发起验收，否则发起验收按钮为灰色。
1. 录ModelArts管理控制台，在左侧菜单栏中选择“数据准备 >数据标注”，打开数据标注管理页。
2. 选择“我参与的”，选择团队标注作业，单击作业名称进入“标注作业详情页”，单击右上角“团队标注>验收”，发起验收。
  图5 发起验收
3. 在弹出的对话框中，设置“抽样策略”，可设置为“按百分比”，也可以设置为“按数量”。设置好参数值后，单击“确定”启动验收。
  “按百分比”：按待验收图片总数的一定比例进行抽样验收。
  
  “按数量”：按一定数量进行抽样验收。
  图6 发起验收
4. 验收启动后，界面将展示实时验收报告，您可以在右侧选择“验收结果”（“通过”或“不通过”）。
  当选择验收结果为“通过”时，需设置“验收评分”（分“A”、“B”、“C”、“D”四个选项，“A”表示最高分），如图8所示。当选择验收结果为“不通过”时，可以在文本框中写明驳回原因，如图9所示。
  图7 查看实时验收报告
  
   图8 设置验收结果为“通过”
  
  图9 设置验收结果为“不通过”
继续验收
针对未完成验收的任务，可以继续验收。针对未发起过验收流程的任务，不支持“继续验收”，按钮为灰色。

在“任务统计>标注进展”页签中，针对需继续验收的任务，单击“继续验收”。系统直接进入“实时验收报告”页面，您可以继续验收未验收的图片，设置其“验收结果”。

完成验收

继续验收完成后，单击右上角“完成验收”在完成验收窗口，您可以查看本标注作业的验收情况，如抽样文件数等，同时设置如下参数，然后进行验收。只有完成验收，标注信息才会同步到标注作业的已标注页面中。

一旦标注数据完成验收，团队成员无法再修改标注信息，只有数据集创建者可修改。

表1 完成验收的参数设置
参数	说明
对已标注数据修改	不覆盖：针对同一个数据，不使用当前团队标注的结果覆盖已有数据。覆盖：针对同一个数据，使用当前团队标注的结果覆盖已有数据。覆盖后无法恢复，请谨慎操作。
验收范围	全部通过：被驳回的样本，也会通过。全部驳回：已经通过的样本，需要重新标注，下次验收时重新进行审核。剩余全部通过：已经驳回的会驳回，其余会自动验收通过。剩余全部驳回：样本抽中的通过的，不需要标注了，未通过和样本未抽中的需要重新标注验收。