更新时间:2023-03-17 GMT+08:00

配置DataNode预留磁盘百分比

配置场景

当YARN本地目录和DataNode目录配置在同一个磁盘时,具有较大容量的磁盘可以运行更多的任务,因此将有更多的中间数据存储在YARN本地目录。

目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小的绝对值。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。

为了避免这种情况,添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比,那样可以基于总的磁盘空间来预留磁盘百分比。

  • 如果用户同时配置“dfs.datanode.du.reserved.percentage”“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。
  • 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”

配置描述

请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。

表1 参数描述

参数

描述

默认值

dfs.datanode.du.reserved.percentage

DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。

整数值,取值范围是0~100。

10