数据管理简介

数据集的类型

当前ModelArts支持如下类型的数据集。包含图片、音频、文本、表格、视频和其他类别。

• 图片
  • 图像分类：识别一张图片中是否包含某种物体。
  • 物体检测：识别出图片中每个物体的位置及类别。
  • 图像分割：识别出图片中每个物体的轮廓。
• 音频
  • 声音分类：对声音进行分类。
  • 语音内容：对语音内容进行标注。
  • 语音分割：对语音进行分段标注。
• 文本
  • 文本分类：对文本的内容按照标签进行分类处理。
  • 命名实体：针对文本中的实体片段进行标注，如“时间”、“地点”等。
  • 文本三元组：针对文本中的实体片段和实体之间的关系进行标注。
• 表格
  • 表格：适合表格等结构化数据处理。文件格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。
• 视频
  • 视频标注：识别出视频中每个物体的位置及分类。目前仅支持mp4格式。
• 其他
  • 自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。
    图1 自由格式数据集示例
    

规格限制

• 除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB
• 针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB
• 单个manifest文件大小限制：5GB
• 文本文件单行大小限制：100KB
• 数据管理标注结果文件大小限制：100MB

数据集管理流程及功能简介

图2 标注管理全流程

不同类型数据集支持的功能列表

其中，不同类型的数据集，支持不同的功能，详细信息请参见表2。