更新时间:2024-01-12 GMT+08:00
那些场景会影响数据均衡?
Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。
那些场景会影响数据均衡?
- 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。
- 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。
- 由于磁盘负载是计算垃圾文件,所以一次性删除过多的垃圾文件,容易造成磁盘不均。
问题现象
Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。
问题分析
频繁写入数据、删除过多垃圾文件,导致磁盘不均衡。
解决办法
- 尽量一次性写入数据,避免磁盘负载频繁变化。
- 手动删除垃圾文件,并调低垃圾文件超时时间,待数据均衡,且垃圾文件较少时,在调回垃圾超时时间,回收站时间设置请参考设置回收站时间。
父主题: 通用类