MRS集群元数据外置说明
元数据是用于描述数据的数据，例如数据结构、存储位置、访问权限等信息。在MRS集群中，组件元数据信息默认存储于集群内自带的本地GaussDB中（MRS集群内置的关系型数据库实例，用于存储各组件的元数据和配置信息），当集群删除时元数据同时被删除，如需保存元数据，需提前手动保存元数据。
MRS提供了数据连接管理功能，支持将集群中组件（如Hive、Ranger）元数据存储到外部数据源，实现与数据存储层（如HDFS）和计算引擎（如 Spark、Flink）的解耦。
例如Hive的元数据可以使用外部的关系型数据库，不会随当前MRS集群的删除而删除，同时多个MRS集群可共享同一份元数据。
典型业务场景包括：
- 跨集群元数据共享：多个MRS集群需要访问同一份Hive元数据，避免数据冗余和不一致。
- 集群删除后元数据保留：集群因业务调整需要释放，但元数据需保留供后续集群使用。
- 数据湖统一元数据管理：通过LakeFormation实现多个数据源和计算引擎的元数据统一管理。
如上图所示，MRS集群元数据外置的架构关系如下：
- MRS集群中的组件（如Hive、Ranger）通过数据连接功能与外部数据源（如RDS PostgreSQL、RDS MySQL、TaurusDB、LakeFormation）建立连接。
- 组件的元数据读写请求通过数据连接通道转发至外部数据源，而非默认的本地GaussDB。
- 数据存储层（如HDFS）和计算引擎（如Spark、Flink）通过组件接口访问元数据，元数据的存储位置对上层透明。
MRS支持的外置数据连接介绍
| 数据连接类型 | 说明 | 适用版本 | 支持引擎 |
|---|---|---|---|
| RDS服务PostgreSQL数据库 | 云数据库 RDS for PostgreSQL面向企业复杂SQL处理的OLTP在线事务处理场景，支持NoSQL数据类型（JSON/XML/hstore），支持GIS地理信息处理，在可靠性、数据完整性方面有良好声誉，适用于互联网网站、位置应用系统、复杂数据对象处理等应用场景。 更多介绍请参见云数据库 RDS for PostgreSQL介绍。 |
| Hive |
| RDS服务MySQL数据库 | 云数据库 RDS for MySQL 100%兼容原生MySQL，拥有稳定可靠，高性能，智能运维，高等级安全保障，即开即用，弹性伸缩等特点。 更多介绍请参见云数据库 RDS for MySQL介绍。 |
|
|
| 云数据库TaurusDB | TaurusDB是华为自主创新研发的分布式关系型数据库。该产品支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。 更多介绍请参见云数据库TaurusDB介绍。 | MRS集群版本：MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群。 |
|
| LakeFormation | LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能，是一个Serverless服务。 更多介绍请参见LakeFormation介绍。 | MRS集群版本： 已开启Kerberos认证：MRS 3.3.0-LTS及之后版本集群。 未开启Kerberos认证：MRS 3.6.0-LTS及之后版本集群。 |
|
使用外部数据源（RDS、TaurusDB、LakeFormation）存储元数据时，外部数据源实例会产生额外费用，计费方式取决于所选数据源类型（如RDS按实例规格和使用时长计费，LakeFormation按使用时长计费），具体请参见对应产品的计费说明。
约束与限制
- 不同集群间Hive元数据切换时，MRS当前只对Hive组件自身的元数据中数据库的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的，所以不同集群间的Hive元数据切换，不能自动把用户/用户组的权限同步到另一个集群的Manager上。
- 外置数据连接对应的服务的“虚拟私有云”、“所属子网”和“安全组”需要与待对接的MRS集群保持一致。如果“安全组”不一致需要配置“安全组”互通，具体请参考实现不同安全组的实例内网网络互通。
- MRS集群对接的RDS数据库实例不能删除，否则会导致集群异常。
解绑外置元数据操作会导致业务运行失败，请在业务空闲期或确认操作无影响后再执行本操作。解绑后组件元数据将恢复存储到集群本地GaussDB，外部数据源中的已有元数据不会自动同步至本地。
- MRS不支持对接开启SSL证书的外置数据库，如果开启会对接失败，需要手动关闭。
- 解绑外置元数据操作会导致业务运行失败，请在业务空闲期或确认操作无影响后再执行本操作。
- MRS 3.6.0-LTS.1及之后版本，多个MRS集群对接同一个外置元数据库时不支持加密存储表属性中的敏感信息，包含加密信息的表仅可本集群使用，其他集群无法解密。需关闭此功能，即修改“metastore-ext.encrypt.parameters.enable”参数值为“false”。
常见问题
Q：外置元数据切换后，原有本地GaussDB中的元数据会自动迁移到外部数据源吗？
A：不会自动迁移，切换外置元数据前，需手动导出本地元数据并导入到外部数据源中。
Q：多集群共享同一外置元数据时，如何处理权限冲突？
A：MRS当前只同步Hive组件自身的元数据中数据库的权限，不同集群间的用户/用户组权限需在各集群Manager上手动配置，确保权限一致性。
Q：外置元数据对集群性能有何影响？
A：建议外部数据源与MRS集群部署在同一VPC和子网内，以降低网络延迟。
相关文档
- 创建MRS集群数据连接及验证元数据外置是否生效，请参考配置Ranger元数据存储至RDS、配置Hive元数据存储至RDS。
- 如需了解如何查看、修改和删除数据连接，请参考管理MRS集群数据连接。
- 查看MRS各版本支持的组件信息，请参考MRS组件版本一览表。
