准备数据

数据上传至OBS

在本文档中，采用管理控制台上传数据至OBS。

执行如下操作，将数据导入到您的数据集中，以便用于模型训练和构建。

1. 登录OBS管理控制台，在ModelArts同一区域内创建桶。如果已存在可用的桶，需确保OBS桶与ModelArts在同一区域。
2. 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。

在上传数据时，请选择非加密桶进行上传，否则会由于加密桶无法解密导致后期的训练失败。

数据集要求

• 文件格式要求为txt或者csv，文件大小不能超过8MB。
• 以换行符作为分隔符，每行数据代表一个标注对象。
• 文本分类目前只支持中文。

OBS上传文件规范

• 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。

• 如需要提前上传待标注的文件，请创建一个空文件夹，然后将文本文件保存在该文件夹下，文本文件的目录结构如：“/bucketName/data/text.csv”。
• 标签名是由中文、大小写字母、数字、中划线或下划线组成，且不超过32位的字符串。
• 如您将已标注好的文本文件上传至OBS桶，请按照如下规范上传。
  • 要求将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为“COMMENTS_114745.txt”，那么标注文件名为“COMMENTS _114745_result.txt”。

    数据文件存储示例：

    ├─<dataset-import-path>
          │      COMMENTS_114732.txt 
          │      COMMENTS _114732_result.txt 
          │      COMMENTS _114745.txt 
          │      COMMENTS _114745_result.txt 
          │      COMMENTS _114945.txt 
          │      COMMENTS _114945_result.txt

  • 文本分类的标注对象和标注文件均为文本文件，并且以行数进行对应，如标注文件中的第一行表示的是标注对象文件中的第一行的标注。