验收团队标注任务结果

任务验收（管理员）

• 发起验收

  当团队的成员已完成数据标注，标注作业的创建者可发起验收，对标注结果进行抽验。只有当标注成员存在标注完成的数据时，才可以发起验收，否则发起验收按钮为灰色。

  1. 录ModelArts管理控制台，在左侧菜单栏中选择“数据管理 >数据标注”，打开数据标注管理页。
  2. 选择“我参与的”，选择团队标注作业，单击作业名称进入“标注作业详情页”，单击右上角“团队标注>验收”，发起验收。
     图1 发起验收
     
  3. 在弹出的对话框中，设置“抽样策略”，可设置为“按百分比”，也可以设置为“按数量”。设置好参数值后，单击“确定”启动验收。

     “按百分比”：按待验收图片总数的一定比例进行抽样验收。

     “按数量”：按一定数量进行抽样验收。

     图2 发起验收
     
  4. 验收启动后，界面将展示实时验收报告，您可以在右侧选择“验收结果”（“通过”或“不通过”）。
     当选择验收结果为“通过”时，需设置“验收评分”（分“A”、“B”、“C”、“D”四个选项，“A”表示最高分），如图4所示。当选择验收结果为“不通过”时，可以在文本框中写明驳回原因，如图5所示。

     图3 查看实时验收报告
     
     图4 设置验收结果为“通过”
     
     图5 设置验收结果为“不通过”
     
• 继续验收

  针对未完成验收的任务，可以继续验收。针对未发起过验收流程的任务，不支持“继续验收”，按钮为灰色。

  在“任务统计>标注进展”页签中，针对需继续验收的任务，单击“继续验收”。系统直接进入“实时验收报告”页面，您可以继续验收未验收的图片，设置其“验收结果”。

  

• 完成验收

  继续验收完成后，单击右上角“完成验收”在完成验收窗口，您可以查看本标注作业的验收情况，如抽样文件数等，同时设置如下参数，然后进行验收。只有完成验收，标注信息才会同步到标注作业的已标注页面中。

  一旦标注数据完成验收，团队成员无法再修改标注信息，只有数据集创建者可修改。

  

  表1 完成验收的参数设置

  参数	说明
  对已标注数据修改	不覆盖：针对同一个数据，不使用当前团队标注的结果覆盖已有数据。 覆盖：针对同一个数据，使用当前团队标注的结果覆盖已有数据。覆盖后无法恢复，请谨慎操作。
  验收范围	全部通过：被驳回的样本，也会通过。 全部驳回：已经通过的样本，需要重新标注，下次验收时重新进行审核。 剩余全部通过：已经驳回的会驳回，其余会自动验收通过。 剩余全部驳回：样本抽中的通过的，不需要标注了，未通过和样本未抽中的需要重新标注验收。

  图6 完成验收
  

查看验收报告

针对进行中或已完成的标注任务，都可以查看其验收报告。登录管理控制台，选择“数据管理>数据标注”，在数据标注页选择“我创建的”，并单击某条团队标注的任务名称，进入标注详情页。在右上角单击“验收报告”，即可在弹出的“验收报告”对话框中查看详情。

图7 查看验收报告

删除标注任务

验收结束后，针对不再使用的标注任务，您可单击任务所在行的删除。任务删除后，未验收的标注详情将丢失，请谨慎操作。但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。