创建ModelArts数据集

数据集的类型

当前ModelArts支持如下格式的数据集。

• 图片：对图像类数据进行处理，支持 .jpg、.png、.jpeg、.bmp四种图像格式，支持用户进行图像分类、物体检测、图像分割类型的标注。
• 音频：对音频类数据进行处理，支持.wav格式，支持用户进行声音分类、语音内容、语音分割三种类型的标注。
• 文本：对文本类数据进行处理，支持.txt、.csv格式，支持用户进行文本分类、命名实体、文本三元组三种类型的标注。
• 视频：对视频类数据进行处理，支持.mp4格式，支持用户进行视频标注。
• 自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。

• 表格

  表格：适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。

不同类型数据集支持的功能列表

其中，不同类型的数据集支持不同的功能，如智能标注、团队标注等。详细信息参考表1。

规格限制

• 除表格类型之外的数据集（如视频、文本、音频等），单个数据集的最大样本数量限制：1000000，最大标签数量限制：10000。
• 除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB。
• 针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB。
• 单个manifest文件大小限制：5GB。
• 文本文件单行大小限制：100KB。
• 数据管理标注结果文件大小限制：100MB。

前提条件

• 数据管理功能需要获取访问OBS权限，在未进行委托授权之前，无法使用此功能。在使用数据管理功能之前，请前往“全局配置”页面，使用委托完成访问授权。
• 已创建用于存储数据的OBS桶及文件夹。并且，数据存储的OBS桶与ModelArts在同一区域。当前不支持OBS并行文件系统，请选择OBS对象存储。
• ModelArts不支持加密的OBS桶，创建OBS桶时，请勿开启桶加密。

创建数据集（图片、音频、文本、视频、自由格式）

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据集”，进入数据集管理页面。
2. 单击“创建数据集”，进入“创建数据集”页面，根据数据类型以及数据标注要求，选择创建不同类型的数据集。填写数据集基本信息。
   图1 参数填写
   
   • 名称：数据集的名称，可自定义您的数据集。
   • 描述：该数据集的详情信息。
   • 数据类型：根据实际需求，选择对应的数据类型。
   • 数据来源：
     1. OBS导入数据

        用户在OBS中有准备好的数据时，选择“OBS”，“导入路径”、“数据标注状态”和数据“标注格式”（当数据标注状态选择“已标注”时，需要填写该参数）。针对不同类型的数据集，数据输入支持的标注格式不同，ModelArts目前支持的标注格式及其说明请参见数据接入简介

     2. 从AI Gallery下载数据

        当用户没有准备数据时，可以从AI Gallery上下载数据创建数据集。选择“AI Gallery”并选中列表中的一个资产。

        • 下载至OBS桶位置（数据集输入位置）：选择一个空目录用来存储下载的数据集。
        • 数据集输出位置：数据集输出位置的OBS路径，此位置会存放输出的标注信息等文件，此位置不能和OBS数据源中的文件路径相同或为其子目录，请确保您的OBS文件名称以字母、数字或下划线命名。
        图2 数据来源选择AI Gallery
        
     3. 从本地上传数据。

        当用户没有在OBS存储数据，且AI Gallery中无法下载到所需要的数据时，ModelArts可支持本地上传。本地上传时选择“上传数据存储路径”和“数据标注状态”。单击“文件上传”，上传您本地的数据。并选择“标注格式”（当数据标注状态为“已标注”时，需要关注该参数）。针对不同类型的数据集，数据输入支持的标注格式不同，ModelArts目前支持的标注格式及其说明请参见导入数据。

        图3 数据来源选择本地上传
        
     4. 除了自己创建数据集之外，也可在页面下方的AI Gallery资产推荐处，根据您的需要选择对应的数据集。

        1. 从AI Gallery平台资产推荐处，选择需要的数据集，单击该数据集，会自动跳转至该数据集资产的详情页，您可以在描述处查看该资产是否满足您的需求。
        2. 如果该资产满足您的需求，您可以单击右上方“下载”直接下载使用该数据集。
        3. 选择对应的云服务区域，单击确定，在下载详情页，下载方式选择下载至“对象存储服务（OBS）”或“ModelArts数据集”。详情可参考从AI Gallery下载数据集。
        4. 您也可以在资产推荐处选择需要的数据集，单击“创建数据集”，即可跳转至数据集创建页面，可以参考2.b。

   • 更多参数填写请参见表2。

     表2 数据集的详细参数

     参数名称	说明
     导入路径	选择需要导入数据的OBS路径，此位置会作为数据集的数据存储路径。 说明： “导入路径”不支持OBS并行文件系统下的路径，请选择OBS对象桶。 创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造成数据集的数据与OBS的数据不一致，可能导致部分数据不可用。如果需要在数据集中修改数据，建议使用同步数据源或4章节从OBS目录导入数据到数据集功能。 超出数据集的样本和标签配额，会导致数据无法正常导入。
     数据标注状态	选择数据的标注状态，分为“未标注”和“已标注”。 选择“已标注”时，需指定标注格式，并保证数据文件满足相应的格式规范，否则可能存在导入失败的情况。 仅图片（物体检测、图像分类、图像分割）、音频（声音分类）、文本（文本分类）类型的标注任务支持导入已标注数据。
     数据集输出位置	选择数据集输出位置的OBS路径，此位置会存放输出的标注信息等文件。 说明： 请确保您的OBS路径以字母、数字、下划线命名，不能包含特殊字符，例如：~'@#$%^&*{}[]:;+=<>/以及空格。 “数据集输出位置”不能与“数据输入路径”为同一路径，且不能是“数据输入路径”的子目录。 “数据集输出位置”建议选择一个空目录。 “数据集输出位置”不支持OBS并行文件系统下的路径，请选择OBS对象桶。

3. 参数填写完成，单击“提交”，即可完成数据集的创建。

创建数据集（表格）

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理> 数据集”，进入数据集管理页面。
2. 单击“创建数据集”，进入“创建数据集”页面，根据数据类型以及数据标注要求，选择创建表格类型的数据集。填写数据集基本信息。
   图4 表格类型的参数
   
   • 名称：数据集的名称，可自定义您的数据集。
   • 描述：该数据集的详情信息。
   • 数据类型：根据实际需求，选择对应的数据类型。
   • 更多参数填写请参考表3。

     表3 数据集的详细参数

     参数名称	说明
     数据源（“OBS”）	“文件路径”：单击输入框右侧按钮，可打开当前账号下的所有OBS桶，请选择需要导入的数据文件所在目录。 “导入是否包含表头”：默认开启，表示导入文件包含表头。 如果您的原始表格中已包含表头，开启时，会将导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 如果您的原始表格中没有表头，需手动关闭该开关，并更改Schema信息中的“列名”为attr_1、attr_2、……、attr_n，其中attr_n为最后一列，代表预测列。 OBS的详细功能说明，请参见《OBS用户指南》。
     数据源（“DWS”）	“集群名称”：系统自动将当前账号下的DWS集群展现在列表中，您可以在下拉框中选择您所需的DWS集群。 “数据库名称”：根据选择的DWS集群，填写数据所在的数据库名称。 “表名称”：根据选择的数据库，填写数据所在的表。 “用户名”：输入DWS集群管理员用户的用户名。 “密码”：输入DWS集群管理员用户的密码。 DWS的详细功能说明，请参见《DWS用户指南》。 说明： 从DWS导入数据，需要借助DLI的功能，如果用户没有访问DLI服务的权限，需根据页面提示创建DLI的委托。
     数据源（“DLI”）	“队列名称”：系统自动将当前账号下的DLI队列展现在列表中，您可以在下拉框中选择您所需的队列。 “数据库名称”：根据选择的队列展现所有的数据库，请在下拉框中选择您所需的数据库。 “表名称”：根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的详细功能说明，请参见《DLI用户指南》。
     数据源（“MRS”）	“集群名称”：系统自动将当前账号下的MRS集群展现在此列表中，但是流式集群不支持导入操作。请在下拉框中选择您所需的集群。 “文件路径”：根据选择的集群，输入对应的文件路径，此文件路径为HDFS路径。 “导入是否包含表头”：开启表示导入时将表头同时导入。 MRS的详细功能说明，请参见《MRS用户指南》。
     本地上传	上传数据存储路径：选择对应的数据存储的OBS路径。
     Schema信息	表格的列名和对应类型，需要跟导入数据的列数保持一致。请根据您导入的数据输入“列名”，同时选择此列的“类型”。其中支持的类型见表4。 单击“添加Schema信息”，即可增加一行列。创建数据集时必须指定schema，且一旦创建不支持修改。 从OBS数据源导入数据，会自动获取文件路径下csv文件的schema，如果多个csv文件的schema不一致会报错。 说明： 从OBS选择数据后，Schema信息的列名会自动带出，且默认为表格中的第一行数据。为确保预测代码的正确性，请您手动更改Schema信息中的“列名”为attr_1、attr_2、……、attr_n，其中attr_n为最后一列，代表预测列。
     数据集输出位置	选择表格数据存储路径（OBS路径），此位置会存放由数据源导入的数据。此位置不能和OBS数据源中的文件路径相同或为其子目录。 创建表格数据集后，在存储路径下会自动生成以下4个目录。 annotation：版本发布目录，每次发布版本，会在此目录下生成和版本名称相同的子目录。 data：数据存放目录，导入的数据会放在此目录。 logs：日志存放目录。 temp：临时工作目录。

     表4 Schema数据类型说明

     类型	描述	存储空间	范围
     String	字符串	-	-
     Short	有符号整数	2字节	-32768-32767
     Int	有符号整数	4字节	-2147483648～2147483647
     Long	有符号整数	8字节	-9223372036854775808～9223372036854775807
     Double	双精度浮点型	8字节	-
     Float	单精度浮点型	4字节	-
     Byte	有符号整数	1字节	-128-127
     Date	日期类型，描述了特定的年月日，格式：yyyy-MM-dd，例如2014-05-29	-	-
     Timestamp	时间戳，表示日期和时间。格式：yyyy-MM-dd HH:mm:ss	-	-
     Boolean	布尔类型	1字节	TRUE/FALSE

     

     使用CSV文件时，需要注意以下两点：

     • 当数据类型选择String时，默认会把双引号内的数据当作一条，所以同一行数据需要保证双引号闭环，否则会导致数据过大，无法显示。
     • 当CSV文件的某一行的列数与定义的Schema不同，则会忽略当前行。
3. 参数填写完成后，单击“提交”，即可完成数据集的创建。

从AI Gallery下载数据集

ModelArts的AI Gallery提供了丰富的数据资源，用户可以查找并下载满足业务需要的数据集，直接用于创建训练作业。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“AI Gallery”，进入AI Gallery页面。
2. 选择“资产集市 > 数据 > > 数据集”页签，默认进入公共页面，该页面展示了所有共享的数据集。
3. 搜索业务需要的数据集，单击目标数据集进入详情页面。
4. 在数据集详情页面单击“下载”。选择数据集下载方式，下载至OBS或者ModelArts数据集。
   1. 将数据集下载至OBS
      • “下载方式”选择“对象存储服务（OBS）”。
      • “目标区域”选择您需要将该数据集下载到的区域位置，如“华北-北京四”。
      • “目标位置”选择OBS桶路径，桶内如有同名的文件或文件夹，将被新下载的文件或文件夹覆盖。
      图5 下载数据集到OBS
      
   2. 将数据集下载至ModelArts
      • “下载方式”：选择“ModelArts数据集”。
      • “目标区域”：选择您需要将该数据集下载到的区域位置，如“华北-北京四”。
      • “数据类型”：根据实际情况选择该数据集的数据类型。
      • “数据集输入位置”：AI Gallery的数据集下载到OBS的路径，此位置会作为数据集的数据存储路径，数据集输入位置不能和输出位置相同。
      • “数据集输出位置”：数据集输出位置的OBS路径，此位置会存放输出的标注信息等文件，此位置不能和OBS数据源中的文件路径相同或为其子目录。
      • “名称”：默认生成“data-xxxx”形式的数据集名称，该数据集会同步在ModelArts数据集列表中。
      • “描述”：可以添加对于该数据集的相关描述。
      图6 下载数据集到ModelArts
      
5. 单击“确定”，自动跳转至“个人中心 > 我的数据 > 我的下载”页面，查看下载详情。下载成功后，数据集详情列表会显示“文件大小”。

修改数据集基本信息

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理>数据集”，进入“数据集”管理页面。
2. 在数据集列表中，单击操作列的“更多>修改”。修改数据集基本信息，然后单击“确定”完成修改。

   表5 参数说明

   参数	说明
   名称	数据集的名称，支持1~64位可见字符。名称只能是字母、中文、数字、下划线或者中划线组成的合法字符串。且只能以字母或者中文字符开头。
   描述	数据集的简要描述。