更新时间:2024-08-16 GMT+08:00

配置HDFS文件回收站机制

配置场景

在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。

您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。

配置描述

参数入口:

请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。

表1 参数说明

参数

描述

默认值

fs.trash.interval

以分钟为单位的垃圾回收时间,垃圾站中数据超过此时间,会被删除。取值范围:1440~259200。

1440

fs.trash.checkpoint.interval

垃圾检查点间的间隔。单位:分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删除。对于未老化文件,则会存储在checkpoint列表中,等待下一次检查。

如果此参数的值设置为0,则表示系统不会检查老化文件,所有老化文件会被保存在系统中。

取值范围:0~fs.trash.interval

说明:

不推荐将此参数值设置为0,这样系统的老化文件会一直存储下去,导致集群的磁盘空间不足。

60