更新时间:2024-12-11 GMT+08:00

使用HDFS异步删除特性

操作场景

HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。

该操作仅适用于MRS 3.5.0及之后版本。

操作步骤

  1. 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
  2. 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数

    表1 HDFS异步删除特性配置参数

    参数名称

    描述

    默认值

    dfs.namenode.block.deletion.async

    是否启用block块异步删除特性,启用之后删除block块的逻辑将异步执行。

    true

    dfs.namenode.block.deletion.lock.threshold.ms

    启用block块异步删除特性之后,允许连续占有锁的最长时间。单位:毫秒。

    50

    dfs.namenode.block.deletion.lock.threshold.ms

    启用block块异步删除特性之后,连续占有锁时间超过最大值时,临时释放锁的时间。单位:毫秒。

    10

  3. 修改完成后保存配置。
  4. 单击“实例”页签,勾选所有配置过期的实例,选择“更多 > 重启实例”,根据界面提示进行重启。