更新时间:2025-07-16 GMT+08:00
使用HDFS异步删除特性
操作场景
HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。
约束与限制
该操作仅适用于MRS 3.5.0及之后版本。
操作步骤
- 登录FusionInsight Manager。
登录集群Manager具体操作,请参考访问MRS集群Manager。
- 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
- 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数。
表1 HDFS异步删除特性配置参数 参数名称
描述
取值样例
dfs.namenode.block.deletion.async
是否启用block块异步删除特性。
- true:开启。启用之后删除block块的逻辑将异步执行。
- false:关闭。删除操作同步执行,可能导致延迟。
true
dfs.namenode.block.deletion.lock.threshold.ms
启用block块异步删除特性之后,允许连续占有锁的最长时间。单位:毫秒。
可根据实际锁阻塞情况,调整阈值。例如,如果锁阻塞时间经常超过默认值,可以适当增加阈值,减少不必要的日志记录。
50
dfs.namenode.block.deletion.unlock.interval.ms
启用block块异步删除特性之后,连续占有锁时间超过最大值时,临时释放锁的时间。单位:毫秒。
10
- 修改完成后保存配置。
- 单击“实例”页签,勾选所有配置过期的实例,选择“更多 > 重启实例”,根据界面提示进行重启。
父主题: HDFS性能调优