并行文件系统概述

并行文件系统介绍

并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件语义系统，旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS、高兼容性、高性能、高可扩展性、高可靠性的能力。

与对象桶的结构不同，并行文件系统访问路径中的每级目录都是一个独立的目录对象，例如“/dir01/dir02/example.txt”中“/dir01/”和“/dir01/dir02/”是目录对象，“/dir01/dir02/example.txt”是目录中的文件对象。在分层目录结构下，修改目录名仅需重命名单个目录对象，无需列举并修改指定目录前缀的全量对象。这种分层结构使并行文件系统的数据组织方式与HDFS基本一致，使用HDFS作为数据访问层的大数据分析框架可以通过OBSFileSystem插件（OBSA-HDFS）访问并行文件系统数据。详细介绍请参见什么是并行文件系统。

性能说明

容器负载挂载并行文件系统时，每挂载一个并行文件系统卷，后端会产生一个常驻进程。当负载使用并行文件系统数过多或大量读写并行文件系统文件时，常驻进程会占用大量内存，部分场景下内存消耗量参考表1 单个并行文件系统常驻进程内存消耗，为保证负载稳定运行，建议负载使用的并行文件系统卷数量不超过其申请的内存GiB数量，如负载的申请的内存规格为4GiB，则建议其使用的并行文件系统数不超过4个。

表1 单个并行文件系统常驻进程内存消耗
测试项目	内存消耗
长稳运行	约50M
2并发写10M文件	约110M
4并发写10M文件	约220M
单写100G文件	约300M

前提条件

在使用并行文件系统之前，您需要先配置正确的OBS VPCEP，VPCEP详情请参见什么是VPCEP，否则可能导致无法挂载并行文件系统，推荐一次性创建所有可能涉及的OBS VPCEP，避免新增并行文件系统等场景时重复操作。请参考购买云服务VPCEP创建OBS VPCEP，其中OBS终端节点服务名称请提交工单或联系OBS服务运维人员获取。