管理团队标注任务

创建团队标注任务

如果您在创建数据集时，即启用团队标注，且指派了某一团队负责标注，系统将默认基于此团队创建一个标注任务。您可以在数据集创建后，在数据集的“标注任务进展”页面查看此任务。

您还可以重新创建一个团队标注任务，指派给同一团队的不同成员，或者指派给其他标注团队。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理 >数据集”，打开数据集列表。
2. 在数据集列表中，选择支持团队标注的数据集，单击数据集名称进入数据集概览页。
3. 在数据集概览页中，单击“标注任务进展”页签，可查看此数据集已有的标注任务。单击右上角的“创建团队标注任务”开始创建新任务。
   图1 标注任务
   
4. 在弹出的“创建团队标注任务”对话框中，填写相关参数，然后单击“确定”，完成任务创建。
   • “名称”：设置此任务的名称。
   • “类型”：设置任务类型，支持“指定标注团队”或“指定标注管理员”。
   • “选择标注团队”：任务类型设置为“指定标注团队”，需在此参数中指定一个团队，同时勾选此团队中某几个成员负责标注。下拉框中将罗列当前帐号下创建的标注团队及其成员，团队管理的操作指导请参见团队标注简介。
   • “选择标注接口人”：任务类型设置为“指定标注管理员”，需在所有团队的“Team Manager”中选择一人作为管理员。
   • “标签集”：展示当前数据集已有的标签及标签属性。在“标签集”下方也可以设置“自动将新增图片同步给标注团队”或“团队标注的图片自动加载智能标注结果”。
     

     团队标注加载智能标注结果的处理步骤：

     • 如果类型选择"指定标注团队"，需要先创建团队标注任务，然后执行智能标注任务。
     • 如果类型选择"指定标注管理员"，在“我参与的”页签下选择团队标注任务，单击"分配任务"。
     图2 创建团队标注任务
     

     任务创建完成后，您可以在“标注任务进展”页签下看到新建的任务。

进入标注（团队成员）

在标注任务创建后，被分配任务的团队成员将收到一封通知邮件，标题为“您有新的标注任务待查收”。

在邮件详情中，单击标注任务链接进入ModelArts管理控制台“数据管理>数据标注”“我参与的”页签下，选择标注任务，完成标注。

不同类型的数据集，标注方式不同，详细请参见：

• 图像分类
• 物体检测
• 文本分类
• 命名实体
• 文本三元组

在标注页面中，每个成员可查看“未标注”、“待确认”、“已驳回”、“待审核”、“审核通过”、“验收通过”的图片信息。请及时关注管理员驳回以及待修正的图片。

当团队标注任务中，分配了Reviewer角色，则需要对标注结果进行审核，审核完成后，再提交给管理员验收。

图3 成员标注平台

任务验收（管理员）

• 发起验收

  当团队的成员已完成数据标注，数据集的创建者可发起验收，对标注结果进行抽验。只有当标注成员存在标注完成的数据时，才可以发起验收，否则发起验收按钮为灰色。

  1. 在“标注任务进展”页签中，针对需发起验收的任务，单击“发起验收”。
  2. 在弹出的对话框中，设置“抽样策略”，可设置为“按百分比”，也可以设置为“按数量”。设置好参数值后，单击“确定”启动验收。

     “按百分比”：按待验收图片总数的一定比例进行抽样验收。

     “按数量”：按一定数量进行抽样验收。

     图4 发起验收
     
  3. 验收启动后，界面将展示实时验收报告，您可以在右侧选择“验收结果”（“通过”或“不通过”）。
     当选择验收结果为“通过”时，需设置“验收评分”（分“A”、“B”、“C”、“D”四个选项，“A”表示最高分），如图6所示。当选择验收结果为“不通过”时，可以在文本框中写明驳回原因，如图7所示。

     图5 查看实时验收报告
     
     图6 设置验收结果为“通过”
     
     图7 设置验收结果为“不通过”
     
• 继续验收

  针对未完成验收的任务，可以继续验收。针对未发起过验收流程的任务，不支持“继续验收”，按钮为灰色。

  在“标注任务进展”页签中，针对需继续验收的任务，单击“继续验收”。系统直接进入“实时验收报告”页面，您可以继续验收未验收的图片，设置其“验收结果”。

• 完成验收

  在完成验收窗口，您可以查看本数据集的验收情况，如抽样文件数等，同时设置如下参数，然后进行验收。只有完成验收，标注信息才会同步到数据集的已标注页面中。

  一旦标注数据完成验收，团队成员无法再修改标注信息，只有数据集创建者可修改。

  表1 完成验收的参数设置

  参数	说明
  对已标注数据修改	不覆盖：针对同一个数据，不使用当前团队标注的结果覆盖已有数据。 覆盖：针对同一个数据，使用当前团队标注的结果覆盖已有数据。覆盖后无法恢复，请谨慎操作。
  通过范围	全部：当前团队标注完成的所有数据。包含验收通过、未验收和验收不通过的。即本数据集的所有抽样文件数。 全部不通过：当前团队标注完成的所有数据不通过验收，即将所有标注数据驳回给标注人员。全部数据指验收通过、未验收和验收不通过的所有数据， 即本数据集的所有抽样文件数。 验收通过和未验收的数据：针对抽样文件中验收通过和未验收的数据，通过验收。验收不通过的数据将驳回给标注人员。 验收通过的数据：针对抽样文件中验收通过的数据，通过验收。未验收和验收不通过的数据将驳回给标注人员。

  图8 完成验收
  

查看验收报告

针对进行中或已完成的标注任务，都可以查看其验收报告。在“标注任务进展”页签中，单击“验收报告”，即可在弹出的“验收报告”对话框中查看详情。

图9 查看验收报告

删除标注任务

针对不再使用的标注任务，您可以在“标注任务进展”页签下，单击任务所在行的删除。任务删除后，未验收的标注详情将丢失，请谨慎操作。但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。