更新时间:2024-10-16 GMT+08:00
分享

创建OBS桶用于ModelArts存储数据

由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。

AI开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。因此,建议您在使用ModelArts之前先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。

图1 ModelArts与OBS交互示意
表1 ModelArts各模块与OBS的关系

功能

子任务

ModelArts与OBS的关系

Standard自动学习Standard Workflow

数据标注

ModelArts标注的数据存储在OBS中。

自动训练

训练作业结束后,其生成的模型存储在OBS中。

部署上线

ModelArts将存储在OBS中的模型部署上线为在线服务。

Standard AI全流程开发

数据管理

  • 数据集存储在OBS中。
  • 数据集的标注信息存储在OBS中。
  • 支持从OBS中导入数据。

开发环境

Notebook实例中的数据或代码文件可以存储在OBS中。

训练模型

训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。

推理部署

训练作业结束后,其生成的模型可以存储在OBS中,创建AI应用时,从OBS中导入已有的模型文件。

创建OBS操作步骤

  1. 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。
    图2 创建桶

    创建桶的区域需要与ModelArts所在的区域一致。例如:当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。

    如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域

    请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。

  2. 在桶列表页面,单击桶名称,进入该桶的概览页面。
    图3 桶列表

  3. 单击左侧导航的“对象”,在对象页面单击新建文件夹,创建OBS文件夹。例如,在已创建的OBS桶“c-flowers”中新建一个文件夹“flowers”
    图4 新建文件夹

    在OBS桶中创建完文件夹,即可以上传文件,上传文件操作请参见OBS上传操作

常见问题

  • 在ModelArts中选择OBS路径时,找不到已创建的OBS桶?
  • 如何查看ModelArts与OBS桶是否在同一区域?
  • 在对OBS桶操作时,出现Error: stat:403错误

出现以上问题或其他OBS路径错误时,请参考ModelArts中提示OBS路径错误解决。

相关文档