如何上传数据至OBS?
使用ModelArts进行AI模型开发时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传,OBS上传数据的详细操作请参见《对象存储服务快速入门》。
- 您在创建OBS桶时,需保证您的OBS桶与ModelArts在同一个区域。如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域。
- 建议根据业务情况及使用习惯,选择OBS使用方法。
- 如果您的数据量较小(小于100MB)或数据文件少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。
- 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。
- 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。
上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS 工具指南》。
创建桶
桶是OBS中存储对象的容器,在上传对象前需要先创建桶。OBS提供多种使用方式,您可以根据使用习惯、业务场景选择不同的工具来创建桶。
访问方式 |
创建桶方法 |
---|---|
控制台 |
|
OBS Browser+ |
|
obsutil |
|
SDK |
使用SDK创建桶,具体参考各语言开发指南的创建桶章节 |
API |
上传对象
桶创建成功后,您可以通过以下多种方式将文件上传至桶,OBS最终将这些文件以对象的形式存储在桶中。
访问方式 |
上传对象方法 |
---|---|
控制台 |
|
OBS Browser+ |
|
obsutil |
|
SDK |
使用SDK上传对象,具体参考各语言开发指南的上传对象章节 |
API |
一般性问题 所有常见问题
- 什么是ModelArts
- ModelArts与其他服务的关系
- ModelArts与DLS服务的区别?
- 如何购买或开通ModelArts?
- 支持哪些型号的Ascend芯片?
- 如何获取访问密钥?
- 如何上传数据至OBS?
- 提示“上传的AK/SK不可用”,如何解决?
- 使用ModelArts时提示“权限不足”,如何解决?
- 如何用ModelArts训练基于结构化数据的模型?
- 什么是区域、可用区?
- 在ModelArts中如何查看OBS目录下的所有文件?
- ModelArts数据集保存到容器的哪里?
- ModelArts支持哪些AI框架?
- ModelArts训练和推理分别对应哪些功能?
- MindSpore相关问题如何解决?
- 如何查看账号ID和IAM用户ID
- ModelArts AI识别可以单独针对一个标签识别吗?
- ModelArts如何通过标签实现资源分组管理
- 为什么资源充足还是在排队?
more