更新时间:2024-12-11 GMT+08:00
使用HDFS异步删除特性
操作场景
HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。
该操作仅适用于MRS 3.5.0及之后版本。
操作步骤
- 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
- 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数。
表1 HDFS异步删除特性配置参数 参数名称
描述
默认值
dfs.namenode.block.deletion.async
是否启用block块异步删除特性,启用之后删除block块的逻辑将异步执行。
true
dfs.namenode.block.deletion.lock.threshold.ms
启用block块异步删除特性之后,允许连续占有锁的最长时间。单位:毫秒。
50
dfs.namenode.block.deletion.lock.threshold.ms
启用block块异步删除特性之后,连续占有锁时间超过最大值时,临时释放锁的时间。单位:毫秒。
10
- 修改完成后保存配置。
- 单击“实例”页签,勾选所有配置过期的实例,选择“更多 > 重启实例”,根据界面提示进行重启。
父主题: HDFS性能调优