配置DataNode预留磁盘百分比

操作场景

当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。

目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小（默认值为“0”）。配置较小的数值不能满足更大的磁盘要求，但对于更小的磁盘配置更大的数值将浪费大量的空间。

本章节指导用户通过配置预留磁盘空间占总磁盘空间大小的百分比，以防止造成磁盘空间浪费。

配置描述

1. 登录FusionInsight Manager。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
3. 搜索以下参数名称，并根据需要修改参数值。

   表1 参数描述

   参数	描述	默认值
   dfs.datanode.du.reserved.percentage	DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。 整数值，取值范围为0～100。 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”，则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”参数取值。	10

4. 保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。

   重启期间对应节点上的HDFS数据读写会短暂不可用，建议采用滚动重启方式在业务低峰期执行。

相关文档

• 如需进一步优化HDFS集群性能，请参考HDFS性能调优。

• 更多HDFS相关日志介绍请参考HDFS日志介绍。
• 如果单个节点内DataNode的各磁盘使用率不均匀，请参考节点内DataNode磁盘使用率不均衡。
• 如果MRS集群上报HDFS磁盘空间不足告警但是实际磁盘空间未被占满，请参考HDFS显示磁盘空间不足，其实还有10%磁盘空间。