更新时间:2024-01-15 GMT+08:00
分享

如何上传数据至OBS?

使用ModelArts进行AI模型开发时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传,OBS上传数据的详细操作请参见《对象存储服务快速入门》

  • 您在创建OBS桶时,需保证您的OBS桶与ModelArts在同一个区域。如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域
  • 建议根据业务情况及使用习惯,选择OBS使用方法。
    • 如果您的数据量较小(小于100MB)或数据文件少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。
    • 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。
    • 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。

    上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS 工具指南》。

创建桶

桶是OBS中存储对象的容器,在上传对象前需要先创建桶。OBS提供多种使用方式,您可以根据使用习惯、业务场景选择不同的工具来创建桶。

表1 不同访问方式创建桶的方法

访问方式

创建桶方法

控制台

通过控制台创建桶

OBS Browser+

通过OBS Browser+创建桶

obsutil

通过obsutil创建桶

SDK

使用SDK创建桶,具体参考各语言开发指南的创建桶章节

API

通过API创建桶

上传对象

桶创建成功后,您可以通过以下多种方式将文件上传至桶,OBS最终将这些文件以对象的形式存储在桶中。

表2 不同访问方式上传对象的方法

访问方式

上传对象方法

控制台

通过控制台上传对象

OBS Browser+

通过OBS Browser+上传对象

obsutil

通过obsutil上传对象

SDK

使用SDK上传对象,具体参考各语言开发指南的上传对象章节

API

PUT上传POST上传

分享:

一般性问题 所有常见问题

more