更新时间:2023-10-27 GMT+08:00
OBS并行文件系统使用指导
并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。相较于对象桶,并行文件系统在稳定性、性能上更具优势。详细介绍请参见什么是并行文件系统。
因此商用场景下如需通过挂载方式使用OBS,推荐您使用并行文件系统,而不推荐对象桶。
技术介绍
CCE支持通过OBS SDK方式和挂载方式使用OBS并行文件系统,其中挂载方式是通过OBS服务提供的obsfs工具实现,关于obsfs工具的介绍和详细使用方法请参见obsfs简介。
每挂载一个并行文件系统对象存储卷,就会产生一个obsfs常驻进程。如下图所示:
推荐使用方式
建议为每个obsfs预留1G的内存空间,如4U8G的节点,建议挂载obsfs并行文件系统的实例不超过8个。
obsfs常驻进程是直接运行在节点上,如果消耗的内存超过了节点上限,则会导致节点异常。
如在4U8G的节点上,运行的挂载并行文件系统卷的实例超过100+,有极大概率会导致节点异常不可用。
因此强烈建议控制单个节点上的挂载并行文件系统实例的数量。
性能指标
obsfs常驻进程的性能消耗测试结果如表1,仅供参考:
验证环境
集群版本:1.15.11
插件版本:1.2.0
obsfs版本:V1.83(commit:97e919f)
父主题: 存储