更新时间:2026-10-09 GMT+08:00
分享

Paimon Catalog介绍

Paimon Catalog是Paimon的顶层组件,负责管理所有Paimon表的元数据和元数据操作。Catalog管理表的Schema和元数据,提供创建、查询和修改表的接口,是用户进行Paimon表操作的入口点。

当前AI DataLake版本支持使用LakeFormation Catalog作为Paimon表的Catalog组件。

LakeFormation Catalog

LakeFormation Catalog依赖LakeFormation元数据服务,由LakeFormation管理最新的快照信息。

LakeFormation Catalog采用乐观锁(OCC)机制,保证了多租场景下并发写的数据一致性。

当前在AI DataLake上创建的Paimon表均为LakeFormation Catalog表。

Paimon支持以下Catalog类型:

  • Filesystem Catalog:基于文件系统的Catalog,将元数据存储在文件系统中,适用于开发和测试环境。
  • Hive Metastore Catalog:基于Hive Metastore的Catalog,将元数据存储在Hive Metastore中,与Hive生态兼容。
  • LakeFormation Catalog:基于LakeFormation的Catalog,将元数据统一存储在LakeFormation中,提供细粒度权限控制和数据访问审计能力。

相关文档