实时数仓简介

适用场景

融合分析业务，一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。

实时入库+分析混合业务，上游数据实时入库+数据入库后实时高效查询场景。主要用于电商、金融等实时入库要求高的场景。

产品优势

性价比高，使用场景广泛。

支持冷热数据分析，存储、计算弹性伸缩，无限算力、无限容量等。

混合负载，入库性能强。

提供与列存相当的高性能查询效率与高压缩率的数据压缩能力。同时拥有处理传统TP场景的事务能力。

功能特点

支持海量数据离线处理和交互查询，数据规模大、复杂数据挖掘具有很好的性能优势。

支持海量数据高并发的更新操作入库以及高性能的查询效率。在数据规模大、入库并发高、查询要求高的场景下具有很好的性能优势。

SQL语法

SQL语法兼容性高，语法通用，易于使用。

兼容列存语法。

GUC参数

丰富的GUC参数，根据客户业务场景适配最适合客户的数仓环境。

兼容标准数仓GUC参数，同时支持实时数仓调优参数。

数据存储方式

以元组为单位，将每一条数据的所有属性值存储到临近的空间里。

以CU（Compress Unit）为单位，将单个属性的所有值存储到临近的空间里。

数据主要以CU形式存储在列存主表上，对于被更新的列、小批量插入的数据将被序列化后存储到新设计的Delta表上。

数据写入

行存压缩暂未商用，数据按原始状态存储，磁盘空间占用较大。

按列存储时，由于属性值类型相同具有天然的压缩优势。数据写入时能极大节省IO资源与磁盘空间占用。

批量插入的数据直接写入CU，具有与列存一致的压缩优势。

被更新的列、小批量插入的数据会序列化后压缩。同时定期merge到主表CU。

数据更新

数据按行更新，没有CU锁问题，并发更新（update/upsert/delete等）性能好。

即使更新单条数据，也要获取整个CU的锁，基本无法支持并发更新（update/upsert/delete等）。

彻底解决列存更新的CU锁问题，并发更新（update/upsert/delete等）的性能达到行存的60%以上。

数据读取

按行读取，即使只需访问某一列的数据，也需要将一整行的数据取出。查询性能较差。

按列读取时只需访问该列的CU，再加上CU的压缩优势导致需要占用的IO资源更少，读取性能很好。

对于列存主表的数据按列读取，对于被更新的列、小批量插入的数据会反序列化后取出，数据merge到主表后具有与列存一致的数据读取优势。

优点

并发更新性能好。

查询性能好，磁盘占用空间少。

并发更新性能好，数据MERGE后具有与列存一致的查询性能优势与压缩优势。

缺点

占用磁盘空间多，查询性能差。

基本无法支持并发更新。

需要后台常驻线程对HStore表进行merge清理操作。先merge到CU主表再进行清理，与SQL语法中的Merge无关。

适用场景

1. 更新删除操作频繁的TP事务场景。
2. 点查询（基于索引的、返回数据量小的简单查询）。

1. 查询分析为主的AP场景。
2. 数据量大，存入后的更新删除操作少。

1. 实时并发入库场景。
2. 需要支持高并发的更新入库操作以及高性能的查询效率。