文档首页/ 表格存储服务 CloudTable/ 常见问题/ 通用类/ 哪些场景会影响数据均衡?
更新时间:2024-11-26 GMT+08:00
分享

哪些场景会影响数据均衡?

Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。

哪些场景会影响数据均衡?

  • 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。
  • 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。
  • 由于磁盘负载是计算垃圾文件,所以一次性删除过多的垃圾文件,容易造成磁盘不均。

问题现象

Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。

问题分析

频繁写入数据、删除过多垃圾文件,导致磁盘不均衡。

解决办法

  • 尽量一次性写入数据,避免磁盘负载频繁变化。
  • 手动删除垃圾文件,并调低垃圾文件超时时间,待数据均衡,且垃圾文件较少时,再调回垃圾超时时间,回收站时间设置请参考设置回收站时间

相关文档