配置DataNode预留磁盘百分比
配置场景
当Yarn本地目录和DataNode目录配置在同一个磁盘时,具有较大容量的磁盘可以运行更多的任务,因此将有更多的中间数据存储在Yarn本地目录。
目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小(默认值为“0”)。配置较小的数值不能满足更大的磁盘要求,但对于更小的磁盘配置更大的数值将浪费大量的空间。
为了避免这种情况,MRS支持配置预留磁盘空间占总磁盘空间大小的百分比,可以基于总的磁盘空间来预留磁盘百分比。
配置描述
- 登录FusionInsight Manager。
登录集群Manager具体操作,请参考访问MRS集群Manager。
- 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
- 搜索以下参数名称,并根据需要修改参数值。
表1 参数描述 参数
描述
默认值
dfs.datanode.du.reserved.percentage
DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。
整数值,取值范围为0~100。
- 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。
- 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”参数取值。
10
- 保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。