入门案例:快速创建一个物体检测的数据集
本节以准备训练物体检测模型的数据为例,介绍如何针对样例数据,进行数据分析、数据标注等操作,完成数据准备工作。在实际业务开发过程中,可以根据业务需求选择数据管理的一种或多种功能完成数据准备。此次操作分为以下流程:
准备工作
在使用ModelArts数据管理的功能前,需要先完成以下准备工作。
用户在使用数据管理的过程中,ModelArts需要访问用户的OBS等依赖服务,需要用户进行在“全局配置”页面中进行委托授权。具体操作参考使用委托授权(推荐)。
创建数据集
本示例使用OBS中的数据作为数据集的输入目录创建数据集。参考如下操作创建一个物体检测类型的数据集,并将数据导入到数据集中。
- 登录ModelArts管理控制台,在左侧菜单栏中选择 ,进入“数据集”管理页面。
- 单击“创建数据集”,进入“创建数据集”页面,根据数据类型以及数据标注要求,选择创建不同类型的数据集。
- 填写数据集基本信息,数据集的“名称”和“描述”。
- 选择“标注场景”和“标注类型”,本案例中分别选择“图片”和“物体检测”。
图1 数据集标注场景和标注类型
- 选择OBS中的数据目录作为“数据集输入位置”,选择不同的OBS目录作为“数据集输出位置”。
图2 数据集的输入位置和输出位置
- 参数填写无误后,单击页面右下角“创建”,即可完成数据集的创建。
数据分析
数据集创建完成后,可以基于图片各项特征,如模糊度、亮度等进行分析,帮助用户更好的分析数据集的数据质量,判断数据集是否满足自己的算法和模型要求。
- 创建特征分析任务
- 查看特征分析结果
特征分析任务执行完成后,可以在“数据特征”页签下,选择“数据集版本”、“类型”和“数据特征指标”,页面将自动呈现您选择对应版本及其指标数据,您可以根据呈现的图表了解数据分布情况,帮助您更好的理解您的数据。
- “版本选择”:根据实际情况选择已执行过特征任务的版本,可以选多个进行对比,也可以只选择一个。
- “类型”:根据需要分析的类型选择。支持“all”、“train”、“eval”和“inference”。分别表示所有、训练、评估和推理类型。
- “数据特征指标”:选择您需要展示的指标。详细指标解释,可参见特征分析指标列表。
图5 查看特征分析结果在特征分析结果中,例如图片亮度指标,数据分布中,分布不均匀,缺少某一种亮度的图片,而此指标对模型训练非常关键。此时可选择增加对应亮度的图片,让数据更均衡,为后续模型构建做准备。
数据标注
- 人工标注
- 在“未标注”页签图片列表中,单击图片,自动跳转到标注页面。
- 在标注页面的工具栏中选择合适的标注工具,本示例使用矩形框进行标注。
图6 标注工具
- 使用标注工具选中目标区域,在弹出的标签文本框中,直接输入新的标签名。如果已存在标签,从下拉列表中选择已有的标签。单击“添加”完成标注。
图7 添加物体检测标签
- 单击页面上方“返回数据标注预览”查看标注信息,在弹框中单击“确定”保存当前标注并离开标注页面。选中的图片被自动移动至“已标注”页签,且在“未标注”和“全部”页签中,标签的信息也将随着标注步骤进行更新,如增加的标签名称、标签对应的图片数量。
- 智能标注
通过人工标注完成少量数据标注后,可以通过智能标注对剩下的数据进行自动标注,提高标注的效率。
- 在数据集详情页面,单击右上角“启动智能标注”。
- 在“启动智能标注”窗口中,填写如下参数,然后单击“提交”。
- 智能标注类型:主动学习
- 算法类型:快速型
其他参数采用默认值。
图8 启动智能标注任务 - 查看智能标注任务进度
智能标注任务启动后,可以在“待确认”页签下查看智能标注任务进度。当任务完成后,即可在“待确认”页签下查看自动标注好的数据。
图9 查看智能标注任务进度 - 确认智能标注结果
在智能标注任务完成后,在“待确认”页签下,单击具体图片进入标注详情页面,可以查看或修改智能标注的结果。
如果智能标注的数据无误,可单击右侧的“确认标注”完成标注,如果标注信息有误,可直接删除错误标注框,然后重新标注,以纠正标注信息。针对物体检测任务,需一张一张确认。确保所有图片已完成确认,然后执行下一步操作。
图10 确认智能标注结果
数据发布
ModelArts训练管理模块支持通过ModelArts数据集或者OBS目录中的文件创建训练作业。如果选择通过数据集作为训练任务的数据源,则需要指定数据集及特定的版本。因此,用户需要为准备好的数据发布一个版本,具体操作参考发布ModelArts数据集中的数据版本。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png)
为了便于后期的模型构建和开发,对同一数据源来说,将其不同时间对数据的处理和标注按照版本来进行区分,按照需求选择指定的版本使用。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001987868090.png)