更新时间:2024-08-14 GMT+08:00

动态挂载OBS并行文件系统

什么是动态挂载OBS并行文件系统

并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统

在ModelArts运行态的Notebook容器中,采用动态挂载特性,将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具,将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。

动态挂载适用于哪些使用场景

场景1:数据集预览和操作,将承载数据集的OBS挂载至Notebook中,可以像本地文件系统一样操作数据集。

场景2:在Notebook中训练时,可直接使用挂载至Notebook容器中的数据集。

动态挂载OBS并行文件系统有什么限制

OBS提供两种桶,对象存储(对象桶)和并行文件系统PFS。

ModelArts的Notebook仅支持挂载OBS的并行文件系统,挂载至Notebook容器“/data/”的子目录下。

动态挂载OBS并行文件系统操作

方式1:通过ModelArts控制台操作

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”页面。
  2. 选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,在“存储配置”页签,单击“添加数据存储”,设置挂载参数。
    1. 设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器的“/data/”目录下创建该文件夹,用来挂载OBS文件系统。
    2. 选择存放OBS并行文件系统下的文件夹,单击“确定”
      图1 动态挂载OBS并行文件系统
  3. 挂载成功后,可以在Notebook实例详情页查看到挂载结果。
    图2 挂载成功