MRS集群元数据外置说明
元数据是用于描述数据的数据,例如数据结构、存储位置、访问权限等信息。在MRS集群中,组件元数据信息默认存储于集群内自带的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前手动保存元数据。
MRS提供了数据连接管理功能,支持将集群中组件(如Hive、Ranger)元数据存储到外部数据源,实现与数据存储层(如HDFS)和计算引擎(如 Spark、Flink)的解耦。
例如Hive的元数据可以使用外部的关系型数据库,不会随当前MRS集群的删除而删除,同时多个MRS集群可共享同一份元数据。

MRS支持的外置数据连接介绍
数据连接类型 |
说明 |
适用版本 |
支持引擎 |
---|---|---|---|
RDS服务PostgreSQL数据库 |
云数据库 RDS for PostgreSQL面向企业复杂SQL处理的OLTP在线事务处理场景,支持NoSQL数据类型(JSON/XML/hstore),支持GIS地理信息处理,在可靠性、数据完整性方面有良好声誉,适用于互联网网站、位置应用系统、复杂数据对象处理等应用场景。 更多介绍请参见云数据库 RDS for PostgreSQL介绍。 |
|
Hive |
RDS服务MySQL数据库 |
云数据库 RDS for MySQL 100%兼容原生MySQL,拥有稳定可靠,高性能,智能运维,高等级安全保障,即开即用,弹性伸缩等特点。 更多介绍请参见云数据库 RDS for MySQL介绍。 |
|
|
云数据库GaussDB(for MySQL) |
GaussDB是华为自主创新研发的分布式关系型数据库。该产品支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。 更多介绍请参见云数据库GaussDB介绍。 |
MRS集群版本:MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群。 |
|
LakeFormation |
LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。 更多介绍请参见LakeFormation介绍。 |
MRS集群版本:MRS 3.3.0-LTS及之后版本集群。 |
|
约束与限制
- 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
- 外置数据连接对应的服务的“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。
- MRS集群对接的RDS数据库实例不能删除,否则会导致集群异常。