冷热分离概述
CloudTable HBase支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。
冷热分离特性仅支持HBase 2.4.14及以上版本。
背景
- 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。
- 冷热分离功能支持将冷热数据存储在不同的介质上,冷数据的存储类型为普通IO存储,热数据的存储类型为超高IO存储。普通IO存储的价格仅为超高IO存储的30%,大大降低了存储成本。
原理介绍
CloudTable HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。
注意事项
- 普通IO读IOPS的能力降低,因此只适用于低频查询的场景。
- 普通IO不适合并发大量读请求的场景,并发大量读请求可能会导致请求异常。