文档首页 > > AI工程师用户指南> 管理数据>

数据管理简介

数据管理简介

分享
更新时间:2021/04/16 GMT+08:00

在ModelArts中,您可以在“数据管理”页面,完成数据导入、数据标注等操作,为模型构建做好数据准备。ModelArts以数据集为数据基础,进行模型开发或训练等操作。

数据集的类型

当前ModelArts支持如下类型的数据集。包含图片、音频、文本、表格、视频和其他类别。

  • 图片
    • 图像分类:识别一张图片中是否包含某种物体。
    • 物体检测:识别出图片中每个物体的位置及类别。
    • 图像分割:识别出图片中每个物体的轮廓。
  • 音频
    • 声音分类:对声音进行分类。
    • 语音内容:对语音内容进行标注。
    • 语音分割:对语音进行分段标注。
  • 文本
    • 文本分类:对文本的内容按照标签进行分类处理。
    • 命名实体:针对文本中的实体片段进行标注,如“时间”、“地点”等。
    • 文本三元组:针对文本中的实体片段和实体之间的关系进行标注。
  • 表格
    • 表格:适合表格等结构化数据处理。文件格式支持csv。支持对部分表格数据进行预览,但是最多支持100条数据预览。
  • 视频
    • 视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。
  • 其他
    • 自由格式:管理的数据可以为任意格式,目前不支持标注,适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据,或者您的数据格式不符合其他类型数据集时,可选择自由格式的数据集。
      图1 自由格式数据集示例

规格限制

  • 除图片类型之外的数据集(如视频、文本、音频等),单个样本大小限制:5GB
  • 针对图片类数据集(物体检测、图像分类、图像分割),单个图片大小限制:25MB
  • 单个manifest文件大小限制:5GB
  • 文本文件单行大小限制:100KB
  • 数据管理标注结果文件大小限制:100MB

数据集管理流程及功能简介

图2 标注管理全流程
表1 功能介绍

功能

说明

创建数据集

创建一个新的数据集。

图像分类

物体检测

文本分类

命名实体

文本三元组

声音分类

语音内容

语音分割

视频标注

针对不同类型的数据集,对数据进行标注。“自由格式”和“表格”类型的数据集暂不支持数据标注。

导入操作

将本地Manifest文件或者OBS的数据导入数据集中。

导出数据

支持将部分数据导出为新的数据集或者将数据导出至OBS。同时支持对任务历史进行查看和管理。

修改数据集

修改数据集的基本信息。如数据集名称、描述或标签等信息。

发布数据集

将标注后的数据集发布为新版本,以便应用于后续的模型构建。

管理数据集版本

通过数据集版本查看演进过程。

智能标注

支持对未标注的数据快速完成数据标注,为您节省70%以上的标注时间。

自动分组

您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。

数据特征

对数据进行特征分析,帮助您了解数据。

一键模型上线

将已完成标注的数据集,通过一键模型上线,一次性完成训练、导入模型、部署为在线服务的操作。

团队标注简介

支持多人标注同一个数据集,且支持数据集创建者统一管理标注任务。添加团队及其成员,参与到数据集的标注工作。

数据处理

为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。常见的数据处理类型有:数据校验、数据清洗、数据选择、数据增强。

删除数据集

删除数据集以释放资源。

不同类型数据集支持的功能列表

其中,不同类型的数据集,支持不同的功能,详细信息请参见表2

表2 不同类型的数据集支持的功能

数据集类型

创建数据集

导入数据

导出数据

发布数据集

修改数据集

管理版本

智能标注

团队标注

自动分组

数据特征

一键模型上线

图像分类

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

物体检测

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

图像分割

支持

支持

支持

支持

支持

支持

-

-

支持

-

-

声音分类

支持

支持

-

支持

支持

支持

-

-

-

-

-

语音内容

支持

支持

-

支持

支持

支持

-

-

-

-

-

语音分割

支持

支持

-

支持

支持

支持

-

支持

-

-

-

文本分类

支持

支持

-

支持

支持

支持

-

支持

-

-

-

命名实体

支持

支持

-

支持

支持

支持

-

支持

-

-

-

文本三元组

支持

支持

-

支持

支持

支持

-

支持

-

-

-

表格

支持

支持

-

支持

支持

支持

-

-

-

-

-

视频

支持

支持

-

支持

支持

支持

-

-

-

-

-

自由格式

支持

-

支持

支持

支持

支持

-

-

-

-

-

分享:

    相关文档

    相关产品