Iceberg Native加速层简介

Iceberg原生的Java实现在读写性能上存在天然瓶颈，主要包括JVM的垃圾回收（GC）压力、缺乏向量化执行能力、以及I/O密集型操作的效率限制。这些瓶颈使得Iceberg在面对超大规模数据场景时，性能难以与Databricks Photon等闭源方案抗衡。

Iceberg Native加速层由此应运而生。Iceberg Native Layer基于Rust+Apache DataFusion+Apache Arrow技术栈，构建了一套跨语言、高性能的Iceberg数据文件读写加速库，将Iceberg的读写性能提升30%以上，compaction性能提升1-2倍，同时为Spark、Flink、Aura、Ray等不同生态引擎提供统一的C/Java调用接口，消除引擎适配差异，简化集成流程。

Iceberg Native Layer采用清晰的三层架构设计：

• Boost Layer：核心加速层，基于DataFusion重写的向量读写引擎，支持Iceberg v1/v2/v3格式数据的向量化读取和Parquet异步写入。
• API Layer：统一接口层，对v1、v2、v3格式的数据统一处理，只导出一个公用接口，上层无需感知表格式版本差异。
• Lib Layer：直接供Java、C生态引擎调用的库层，对引擎完全屏蔽下层实现细节。