文档首页> 云容器引擎 CCE> 常见问题> 节点> 节点运行> thinpool磁盘空间耗尽导致容器或节点异常时,如何解决?
更新时间:2022-05-06 GMT+08:00
分享

thinpool磁盘空间耗尽导致容器或节点异常时,如何解决?

问题描述

当节点上的thinpool磁盘空间接近写满时,概率性出现以下异常:

在容器内创建文件或目录失败、容器内文件系统只读、节点被标记disk-pressure污点及节点不可用状态等。

用户可手动在节点上执行docker info查看当前thinpool空间使用及剩余量信息,从而定位该问题。如下图:

问题原理

docker devicemapper模式下,尽管可以通过配置basesize参数限制单个容器的主目录大小(默认为10GB),但节点上的所有容器还是共用节点的thinpool磁盘空间,并不是完全隔离,当一些容器使用大量thinpool空间且总和达到节点thinpool空间上限时,也会影响其他容器正常运行。

另外,在容器的主目录中创删文件后,其占用的thinpool空间不会立即释放,因此即使basesize已经配置为10GB,而容器中不断创删文件时,占用的thinpool空间会不断增加一直到10GB为止,后续才会复用这10GB空间。如果节点上的业务容器数*basesize > 节点thinpool空间大小,理论上有概率出现节点thinpool空间耗尽的场景。

解决方案:

当节点已出现thinpool空间耗尽时,可将部分业务迁移至其他节点实现业务快速恢复。但对于此类问题,建议采用以下方案从根因上解决问题:

方案1:

合理规划业务分布及数据面磁盘空间,避免和减少出现业务容器数*basesize > 节点thinpool空间大小场景。

方案2:

容器业务的创删文件操作建议在容器挂载的本地存储(如emptyDir、hostPath)或云存储的目录中进行,这样不会占用thinpool空间。

方案3:

docker使用overlayfs存储模式,当前CCE Turbo集群中CentOS 7.6和Ubuntu 18.04节点,以及CCE集群中Ubuntu 18.04节点容器已默认使用overlayfs存储模式,可将业务部署在此类节点上,避免容器内创删文件后占用的磁盘空间不立即释放问题。

分享:

节点运行所有常见问题

more

close