更新时间:2024-08-16 GMT+08:00
配置HDFS文件回收站机制
配置场景
在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。
您可以设置文件保留在回收站中的时间阈值,一旦文件保存时间超过此阈值,将从回收站中永久地删除。如果回收站被清空,回收站中的所有文件将被永久删除。
配置描述
参数入口:
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
参数 |
描述 |
默认值 |
---|---|---|
fs.trash.interval |
以分钟为单位的垃圾回收时间,垃圾站中数据超过此时间,会被删除。取值范围:1440~259200。 |
1440 |
fs.trash.checkpoint.interval |
垃圾检查点间的间隔。单位:分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删除。对于未老化文件,则会存储在checkpoint列表中,等待下一次检查。 如果此参数的值设置为0,则表示系统不会检查老化文件,所有老化文件会被保存在系统中。 取值范围:0~fs.trash.interval。
说明:
不推荐将此参数值设置为0,这样系统的老化文件会一直存储下去,导致集群的磁盘空间不足。 |
60 |
父主题: 使用HDFS