更新时间:2025-07-22 GMT+08:00

多服务/多集群共享元数据

场景描述

多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。

  • 跨集群数据共享
    LakeFormation支持跨集群数据共享。如图1所示,当前有MRS集群1、MRS集群2,两集群开启存算分离将数据存储至OBS中,集群1的业务用户创建数据表T1并在T1中写入数据。在为集群1、集群2配置对接LakeFormation并授予相关操作权限后,集群2的业务用户可通过LakeFormation的统一元数据管理,查询数据表T1的数据并进行分析。
    图1 跨集群数据共享
  • 跨服务、跨集群数据共享

    LakeFormation支持跨服务、跨集群数据共享。如图2所示,当前有MRS集群1和DWS集群,两集群开启存算分离将数据存储至OBS中,MRS集群1的大数据用户A创建数据表T1。在为MRS集群1、DWS集群配置对接LakeFormation并授予相关操作权限后,DWS集群的数仓用户可通过LakeFormation的统一元数据管理,向数据表T1中添加分区和写入数据,MRS集群1的大数据用户B可以读取数据表T1中的数据。

    图2 跨服务、跨集群数据共享

本服务的优势

  • 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。
  • 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。

建议搭配服务

MapReduce服务(MRS)

数据仓库服务 GaussDB(DWS)

数据湖探索(DLI)

支持情况请咨询对应服务。