Paimon

Apache Paimon是一种流批统一的数据湖存储格式，旨在构建实时湖仓一体架构，支持使用Flink和Spark进行流批处理操作。Apache Paimon创新性地将湖存储格式与LSM（Log-Structured Merge-Tree）技术结合起来，使得湖架构支持实时流式更新能力；其优势在于低延迟、强一致性和易扩展性。

• 读/写：Paimon支持多种方式的数据读/写和OLAP查询。对于读操作，支持从历史快照读取（批模式）、从最新偏移量读取（流模式）或以混合模式读取增量快照。对于写操作，支持从数据库的更改日志（CDC）流式同步或从离线数据批量插入/覆盖。
• 生态系统：除了Apache Flink，Paimon还支持其他计算引擎（例如Apache Hive、Apache Spark和Trino）进行读取。
• 内部：在底层Paimon将列式文件存储在文件系统/对象存储中。文件的元数据存储在清单文件中，提供大规模存储和Data Skipping功能。对于主键表，使用LSM树结构来支持大量数据更新和高性能查询。

更多介绍请参考Apache Paimon。