# 确认智能标注作业的数据难例
在数据量很大的标注任务中，标注初期由于已标注图片不足，智能标注的结果无法直接用于训练。如果对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务，在对未标注数据进行智能标注的任务中，ModelArts嵌入了自动难例发现功能。该功能会对剩余未标注图片的标注优先级给出建议。因为标注优先级高的图片的智能标注结果未达到预期，所以称之为难例。
ModelArts平台提供的自动难例发现功能，在智能标注以及数据采集筛选过程中，将自动标注出难例，建议对难例数据进一步确认标注，然后将其加入训练数据集中，使用此数据集训练模型，可得到精度更高的模型。首先，针对智能标注和采集筛选任务，难例的发现操作是系统自动执行的，无需人工介入，仅需针对标注后的数据进行确认和修改即可，提升数据管理和标注效率。其次，您可以基于难例的情况，补充类似数据，提升数据集的丰富性，进一步提升模型训练的精度。
在数据集管理中，对难例的管理有如下场景。
- [智能标注后，确认难例]
- [将数据集中的数据标注为难例]
![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png)
目前只有"图像分类"和"物体检测"类型的数据集支持难例发现功能。
 #### 智能标注后，确认难例
"智能标注"任务执行过程中，ModelArts将自动识别难例，并完成标注。当智能标注结束后，难例标注结果将呈现在"待确认"页签，建议您对难例数据进行人工修正，然后确认标注。
1. 登录[ModelArts控制台](https://console.huaweicloud.com/modelarts)，在左侧菜单栏中选择"数据准备\>数据标注"，单击"我创建的"页签可查看所有作业列表。
2. 在标注作业列表中，选择"物体检测"或"图像分类"类型的标注作业，单击标注作业名称进入"标注作业详情"。
3. 在"标注作业详情页"，选择"待确认"页签，查看并确认难例。
   ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   只有当智能标注任务完成后，待确认页签才会显示标注数据。否则，此页签内容为空。智能标注操作请参见[创建智能标注作业](https://support.huaweicloud.com/usermanual-standard-modelarts/datalabel-modelarts_0019.html)。
   - 针对"物体检测"标注作业
     在"待确认"页签中，单击图片展开标注详情，查看图片数据的标注情况，如标签是否准确、目标框位置添加是否准确。如果智能标注结果不准确，建议手工调整标签或目标框，然后单击"确认标注"。完成确认后，重新标注的数据将呈现在"已标注"页签下。
     如[图1]所示的难例，dog标签的目标框位置不准确，使用标注框重新标注，如图中的"漏检"目标框，然后需要将原先标注错误的目标框删除，即"误检"标签框。手工调整后，单击"确认标注"完成难例确认。
     图1物体检测的难例确认   
     ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001987867970.png "点击放大") 
   
   - 针对"图像分类"标注作业
     在"待确认"页签中，查看标注难例的图片，其添加的标签是否准确。勾选标注不准确的图片，删除错误标签，然后在右侧"标签名"处添加准确标签。单击"确认"，勾选的图片及其标注情况，将呈现在"已标注"页签下。
     选中的图片为标注错误图片，在右侧删除错误标签，然后在标签名处添加"狗"的标签，然后单击"确认"，完成难例确认。
     
     
 
 #### 将数据集中的数据标注为难例
针对标注作业中，已标注或未标注数据，也可以将图片数据标注为难例。标注为难例的数据，对后续模型训练中，通过内置规则提升模型精度。
1. 登录[ModelArts控制台](https://console.huaweicloud.com/modelarts)，在左侧菜单栏中选择"数据准备\>数据标注"，单击"我创建的"页签可查看所有作业列表。
2. 在标注作业列表中，选择"物体检测"或"图像分类"类型的标注作业，单击数据集名称进入"标注作业详情页"。
3. 在标注作业详情页，选择"标注"页签"，单击"已标注"、"未标注"或"全部"页签，勾选需标注为难例的图片，然后单击"难例批处理 \> 确认为难例"。完成标注后，图片预览时，其右上角将显示为"难例"。
   图2确认为难例   
   ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002024267985.png "点击放大")