文档首页/ MapReduce服务 MRS/ 故障排除/ 使用HDFS/ 非HDFS数据残留导致数据分布不均衡
更新时间:2022-09-29 GMT+08:00

非HDFS数据残留导致数据分布不均衡

问题背景与现象

数据出现不均衡,某磁盘过满而其他磁盘未写满。

HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”,看到的现象是大量数据都是存储到了“/export/data1/dfs”,其他盘的数据比较均衡。

原因分析

磁盘为卸载重装,有一个目录在上次卸载时未卸载干净,即添加的磁盘,未格式化,残留历史垃圾数据。

解决办法

手动清理未卸载干净的数据。