文档首页> 表格存储服务 CloudTable> 常见问题> 通用类> 如何调整数据均衡的灵敏度,调整后有哪些影响?
更新时间:2024-01-12 GMT+08:00
分享

如何调整数据均衡的灵敏度,调整后有哪些影响?

Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。

如何调整数据均衡的灵敏度?

BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。FE记录这些统计值,并根据这些统计值,限制不同的操作请求。

在FE中分别设置了 高水位(High Watermark)和危险水位(Flood Stage) 两级阈值。危险水位高于高水位。当磁盘使用率高于高水位时,Doris会限制某些操作的执行(如副本均衡等)。而如果高于危险水位,则会禁止某些操作的执行(如导入)。

同时,在BE上也设置了 危险水位(Flood Stage)。考虑到FE并不能完全及时的检测到BE上的磁盘使用情况,以及无法控制某些 BE 自身运行的操作(如 Compaction)。因此BE上的危险水位用于 BE 主动拒绝和停止某些操作,达到自我保护的目的。请参见磁盘空间管理

影响

  • 太迟钝,会造成磁盘间数据量差异较大,影响并发性能。
  • 太频繁,会产生大量垃圾文件,占用磁盘,需同步调整垃圾文件超时时间。
分享:

通用类 所有常见问题

more