创建OBS桶用于ModelArts存储数据
由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。
AI开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。因此,建议您在使用ModelArts之前先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
功能 |
子任务 |
ModelArts与OBS的关系 |
---|---|---|
Standard自动学习Standard Workflow |
数据标注 |
ModelArts标注的数据存储在OBS中。 |
自动训练 |
训练作业结束后,其生成的模型存储在OBS中。 |
|
部署上线 |
ModelArts将存储在OBS中的模型部署上线为在线服务。 |
|
Standard AI全流程开发 |
数据管理 |
|
开发环境 |
Notebook实例中的数据或代码文件可以存储在OBS中。 |
|
训练模型 |
训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。 |
|
推理部署 |
训练作业结束后,其生成的模型可以存储在OBS中,创建模型时,从OBS中导入已有的模型文件。 |
创建OBS操作步骤
- 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。
图2 创建桶
创建桶的区域需要与ModelArts所在的区域一致。例如:当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。
如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域。
请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。
- 在桶列表页面,单击桶名称,进入该桶的概览页面。
图3 桶列表
- 单击左侧导航的“对象”,在对象页面单击新建文件夹,创建OBS文件夹。例如,在已创建的OBS桶“c-flowers”中新建一个文件夹“flowers”。
图4 新建文件夹
在OBS桶中创建完文件夹,即可以上传文件,上传文件操作请参见OBS上传操作。
常见问题
- 在ModelArts中选择OBS路径时,找不到已创建的OBS桶?
- 如何查看ModelArts与OBS桶是否在同一区域?
- 在对OBS桶操作时,出现Error: stat:403错误
出现以上问题或其他OBS路径错误时,请参考ModelArts中提示OBS路径错误解决。