文档首页> 云容器引擎 CCE> 最佳实践> 存储> OBS并行文件系统使用指导
更新时间:2023-10-27 GMT+08:00

OBS并行文件系统使用指导

并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。相较于对象桶,并行文件系统在稳定性、性能上更具优势。详细介绍请参见什么是并行文件系统

因此商用场景下如需通过挂载方式使用OBS,推荐您使用并行文件系统,而不推荐对象桶。

技术介绍

CCE支持通过OBS SDK方式和挂载方式使用OBS并行文件系统,其中挂载方式是通过OBS服务提供的obsfs工具实现,关于obsfs工具的介绍和详细使用方法请参见obsfs简介

每挂载一个并行文件系统对象存储卷,就会产生一个obsfs常驻进程。如下图所示:

推荐使用方式

建议为每个obsfs预留1G的内存空间,如4U8G的节点,建议挂载obsfs并行文件系统的实例不超过8个。

obsfs常驻进程是直接运行在节点上,如果消耗的内存超过了节点上限,则会导致节点异常。

如在4U8G的节点上,运行的挂载并行文件系统卷的实例超过100+,有极大概率会导致节点异常不可用。

因此强烈建议控制单个节点上的挂载并行文件系统实例的数量。

性能指标

obsfs常驻进程的性能消耗测试结果如表1,仅供参考:

表1 obsfs性能消耗

测试项目

内存消耗

长稳运行

约50m

2并发写10M文件

约110m

4并发写10M文件

约220m

单写100G文件

约300m

验证环境

集群版本:1.15.11

插件版本:1.2.0

obsfs版本:V1.83(commit:97e919f)