弹性文件服务 SFS
弹性文件服务 SFS
- 最新动态
- 功能总览
- 服务公告
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
- 场景代码示例
-
常见问题
- 概念类
- 规格类
- 限制类
- 网络类
- 计费类
-
其他类
- 如何从云服务器访问文件系统?
- 如何确认Linux云服务器上的文件系统处于可用状态?
- 弹性文件服务会占用用户的哪些资源?
- SFS容量型文件系统挂载后为什么容量显示为10P?
- 通用文件系统挂载后为什么会显示250TB?
- 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移?
- 弹性文件服务支持多可用区吗?
- 可以将SFS容量型文件系统升级为SFS Turbo文件系统吗?
- 可以将SFS Turbo标准型升级为SFS Turbo标准型-增强版吗?
- 如何在弹性文件服务SFS和云硬盘EVS之间进行数据迁移?
- 可以直接从云下访问弹性文件服务吗?
- 如何删除.nfs类型的文件?
- 将数据从SFS容量型迁移至SFS Turbo后,容量为什么变大了?
- 如何提高SFS Turbo文件系统拷贝和删除操作的效率?
- SFS Turbo二级及三级目录权限如何继承?
- 如何将SFS Turbo部署至CCE?
- 如何发挥SFS Turbo文件系统的最大性能?
- Linux内核5.4版本之后客户端的NFSv3文件系统顺序读业务场景性能不符合预期,如何处理?
- 故障排除
- 视频帮助
- 文档下载
- 通用参考
本文导读
链接复制成功!
上传数据至OBS并预热到SFS Turbo中
上传数据至OBS
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。
已经安装obsutil,请参考下载和安装obsutil。
- 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。
- 下载格式转换后的annotation文件:ILSVRC2021winner21k_whole_map_train.txt和ILSVRC2021winner21k_whole_map_val.txt。
- 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考obsutil命令行工具使用指导。
将数据从OBS预热到SFS Turbo中
SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。
- 您可通过查询联动任务详情接口查看导入任务的完成状态。
- 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。
父主题: 训练