挂载存储
解释说明
支持挂载更多存储配置,以提高数据的访问效率。
在ModelArts中创建训练作业时,可以选择以下两种存储挂载选项。以下是它们的详细对比,帮助您根据需求选择合适的存储方案。
|
存储类型 |
性能 |
容量 |
适用场景 |
价格 |
备注 |
|---|---|---|---|---|---|
|
SFS Turbo |
高 |
大 |
适用于多种应用场景,包括AI训练、AIGC、自动驾驶、渲染、EDA仿真、企业NAS应用等。 |
较高 |
通用 |
|
OBS |
中 |
大 |
基于对象存储服务作为统一数据存储的大数据场景。 |
适中 |
高频读取,低频写入。 |
OBS挂载使用限制与注意事项
由于对象存储(OBS)的对象语义与POSIX文件系统不同,rclone通过FUSE方式提供“类文件系统”访问,存在以下限制:
- 写入语义限制:不支持随机写入和追加写入,不支持对已有文件进行原地修改,包括随机写(seek write)和追加写(append)。例如,以 r+、w+、a 或 a+ 模式打开并修改同一文件,或不断追加写入日志文件(如 bash while true; do echo "$(date) line" >> app.log; sleep 1; done)。
- 权限限制:挂载显示的权限多为rclone伪造(或统一映射),不能作为真实的多用户权限系统使用,因此无法使用 chmod 或 chown 修改文件权限。
- 并发写入限制:并发写入同一路径的行为不可控,多个进程写入同一文件时无法确认最终内容。
- 链接限制:不支持硬链接,符号链接可能被当作普通文件存储(保存链接文本)。例如,ln -s target.txt link.txt 可能会导致直接失败,或者 link.txt 被当成普通文件上传,内容是字符串 target.txt。