更新时间:2025-07-16 GMT+08:00

使用HDFS异步删除特性

操作场景

HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。

约束与限制

该操作仅适用于MRS 3.5.0及之后版本。

操作步骤

  1. 登录FusionInsight Manager。

    登录集群Manager具体操作,请参考访问MRS集群Manager

  2. 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
  3. 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数

    表1 HDFS异步删除特性配置参数

    参数名称

    描述

    取值样例

    dfs.namenode.block.deletion.async

    是否启用block块异步删除特性。

    • true:开启。启用之后删除block块的逻辑将异步执行。
    • false:关闭。删除操作同步执行,可能导致延迟。

    true

    dfs.namenode.block.deletion.lock.threshold.ms

    启用block块异步删除特性之后,允许连续占有锁的最长时间。单位:毫秒。

    可根据实际锁阻塞情况,调整阈值。例如,如果锁阻塞时间经常超过默认值,可以适当增加阈值,减少不必要的日志记录。

    50

    dfs.namenode.block.deletion.unlock.interval.ms

    启用block块异步删除特性之后,连续占有锁时间超过最大值时,临时释放锁的时间。单位:毫秒。

    10

  4. 修改完成后保存配置。
  5. 单击“实例”页签,勾选所有配置过期的实例,选择“更多 > 重启实例”,根据界面提示进行重启。