更新时间:2025-08-09 GMT+08:00

MRS集群元数据外置说明

元数据是用于描述数据的数据,例如数据结构、存储位置、访问权限等信息。在MRS集群中,组件元数据信息默认存储于集群内自带的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前手动保存元数据。

MRS提供了数据连接管理功能,支持将集群中组件(如Hive、Ranger)元数据存储到外部数据源,实现与数据存储层(如HDFS)和计算引擎(如 Spark、Flink)的解耦。

例如Hive的元数据可以使用外部的关系型数据库,不会随当前MRS集群的删除而删除,同时多个MRS集群可共享同一份元数据。

图1 MRS集群元数据外置

MRS支持的外置数据连接介绍

表1 MRS支持的外置数据连接

数据连接类型

说明

适用版本

支持引擎

RDS服务PostgreSQL数据库

云数据库 RDS for PostgreSQL面向企业复杂SQL处理的OLTP在线事务处理场景,支持NoSQL数据类型(JSON/XML/hstore),支持GIS地理信息处理,在可靠性、数据完整性方面有良好声誉,适用于互联网网站、位置应用系统、复杂数据对象处理等应用场景。

更多介绍请参见云数据库 RDS for PostgreSQL介绍

  • MRS集群版本:安装了Hive组件的集群。
  • PostgreSQL版本:PostgreSQL 14

Hive

RDS服务MySQL数据库

云数据库 RDS for MySQL 100%兼容原生MySQL,拥有稳定可靠,高性能,智能运维,高等级安全保障,即开即用,弹性伸缩等特点。

更多介绍请参见云数据库 RDS for MySQL介绍

  • MRS集群版本:安装了Hive或Ranger组件的集群。
  • MySQL版本:MySQL 5.7.x、MySQL 8.0。
  • Hive
  • Ranger

云数据库GaussDB(for MySQL)

GaussDB是华为自主创新研发的分布式关系型数据库。该产品支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。

更多介绍请参见云数据库GaussDB介绍

MRS集群版本:MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群。

  • Hive
  • Ranger

LakeFormation

LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。

LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。

更多介绍请参见LakeFormation介绍

MRS集群版本:MRS 3.3.0-LTS及之后版本集群。

  • Hive
  • Ranger

约束与限制

  • 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
  • 外置数据连接对应的服务的“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。
  • MRS集群对接的RDS数据库实例不能删除,否则会导致集群异常。