文档首页/ MapReduce服务 MRS/ 故障排除/ 使用HDFS/ HDFS显示磁盘空间不足,其实还有10%磁盘空间
更新时间:2023-09-05 GMT+08:00

HDFS显示磁盘空间不足,其实还有10%磁盘空间

问题背景与现象

  1. 出现“HDFS磁盘空间使用率超过阈值”告警。
  2. 查看HDFS页面,查看磁盘空间使用率非常高。

原因分析

HDFS中配置了dfs.datanode.du.reserved.percentage参数:每个磁盘的保留空间所占磁盘百分比。DataNode会保留这么多可用空间,以备其他组件如Yarn的NodeManager运行计算时,或者预留升级时使用。

因为预留了10%的磁盘,当磁盘使用率达到90%的时候,HDFS的DataNode即会认为没有可用磁盘空间。

解决办法

  1. 扩容,在HDFS DataNode磁盘到80%,即需要及时扩容,请参考扩容集群。扩容完成后需进行数据均衡,请参考配置HDFS DataNode数据均衡
  2. 如不能及时扩容,需要删除HDFS中的不需要数据,释放磁盘空间。