文档首页 > > AI工程师用户指南> 管理数据> 数据管理简介

数据管理简介

分享
更新时间:2020/09/02 GMT+08:00

在ModelArts中,您可以在“数据管理”页面,完成数据导入、数据标注等操作,为模型构建做好数据准备。ModelArts以数据集为数据基础,进行模型开发或训练等操作。

数据集的类型

当前ModelArts支持如下类型的数据集。包含图片、音频、文本、表格、视频和其他类别。

  • 图片
    • 图像分类:识别一张图片中是否包含某种物体。
    • 物体检测:识别出图片中每个物体的位置及类别。
  • 音频
    • 声音分类:对声音进行分类。
    • 语音内容:对语音内容进行标注。
    • 语音分割:对语音进行分段标注。
  • 文本
    • 文本分类:对文本的内容按照标签进行分类处理。
    • 命名实体:针对文本中的实体片段进行标注,如“时间”、“地点”等。
    • 文本三元组:针对文本中的实体片段和实体之间的关系进行标注。
  • 表格
    • 表格:适合表格等结构化数据处理。文件格式支持csv和carbon。支持对部分表格数据进行预览,但是最多支持100条数据预览。
  • 视频
    • 视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。
  • 其他
    • 自由格式:管理的数据可以为任意格式,目前不支持标注,适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据,或者您的数据格式不符合其他类型数据集时,可选择自由格式的数据集。
      图1 自由格式数据集示例

数据集管理流程及功能简介

图2 标注管理全流程
表1 功能介绍

功能

说明

创建数据集

创建一个新的数据集。

图像分类

物体检测

文本分类

命名实体

文本三元组

声音分类

语音内容

语音分割

视频标注

针对不同类型的数据集,对数据进行标注。“自由格式”和“表格”类型的数据集暂不支持数据标注。

导入操作

将本地Manifest文件或者OBS的数据导入数据集中。

导出数据

支持将部分数据导出为新的数据集或者将数据导出至OBS。同时支持对任务历史进行查看和管理。

修改数据集

修改数据集的基本信息。如数据集名称、描述或标签等信息。

发布数据集

将标注后的数据集发布为新版本,以便应用于后续的模型构建。

管理数据集版本

通过数据集版本查看演进过程。

智能标注

支持对未标注的数据快速完成数据标注,为您节省70%以上的标注时间。

自动分组

您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。

数据特征

对数据进行特征分析,帮助您了解数据。

一键模型上线

将已完成标注的数据集,通过一键模型上线,一次性完成训练、导入模型、部署为在线服务的操作。

团队标注简介

支持多人标注同一个数据集,且支持数据集创建者统一管理标注任务。添加团队及其成员,参与到数据集的标注工作。

删除数据集

删除数据集以释放资源。

不同类型数据集支持的功能列表

其中,不同类型的数据集,支持不同的功能,详细信息请参见表2

表2 不同类型的数据集支持的功能

数据集类型

创建数据集

导入数据

导出数据

发布数据集

修改数据集

管理版本

智能标注

团队标注

自动分组

数据特征

一键模型上线

图像分类

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

物体检测

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

支持

声音分类

支持

支持

-

支持

支持

支持

-

-

-

-

-

语音内容

支持

支持

-

支持

支持

支持

-

-

-

-

-

语音分割

支持

支持

-

支持

支持

支持

-

-

-

-

-

文本分类

支持

支持

-

支持

支持

支持

-

支持

-

-

-

命名实体

支持

支持

-

支持

支持

支持

-

支持

-

-

-

文本三元组

支持

支持

-

支持

支持

支持

-

支持

-

-

-

表格

支持

支持

-

支持

支持

支持

-

-

-

-

-

视频

支持

支持

-

支持

支持

支持

-

-

-

-

-

自由格式

支持

-

支持

支持

支持

支持

-

-

-

-

-

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问