更新时间:2025-07-12 GMT+08:00
分享

配置DataNode预留磁盘百分比

配置场景

当Yarn本地目录和DataNode目录配置在同一个磁盘时,具有较大容量的磁盘可以运行更多的任务,因此将有更多的中间数据存储在Yarn本地目录。

目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小(默认值为“0”)。配置较小的数值不能满足更大的磁盘要求,但对于更小的磁盘配置更大的数值将浪费大量的空间。

为了避免这种情况,MRS支持配置预留磁盘空间占总磁盘空间大小的百分比,可以基于总的磁盘空间来预留磁盘百分比。

配置描述

  1. 登录FusionInsight Manager。

    登录集群Manager具体操作,请参考访问MRS集群Manager

  2. 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
  3. 搜索以下参数名称,并根据需要修改参数值。

    表1 参数描述

    参数

    描述

    默认值

    dfs.datanode.du.reserved.percentage

    DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。

    整数值,取值范围为0~100。

    • 如果用户同时配置“dfs.datanode.du.reserved.percentage”“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。
    • 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”参数取值。

    10

  4. 保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。

相关文档