Metadata基本原理

Metadata简介

Metadata（简称MDM），全称为元数据管理，可为MRS数据仓库类型的组件（Hive和HBase）提供元数据的抽取能力，并且可以由人工为每个元数据进行标签设定，用于后向的数据分析、搜索等扩展功能。

Metadata原理

MDM可对MRS系统中的Hive以及HBase数据库进行元数据抽取以及对外转储。MDM通过MRS框架的安装过程，获取到Hive以及HBase的连接方式并有效接入认证，从而获取到这两个数据库的元数据。

图1 元数据逻辑架构图

元数据管理的原理说明如下：

1. MDM从Manager处获取Hadoop集群的基本信息，例如HBase的RegionServer的节点部署信息、保存了Hive元数据的DBService信息等。
2. 根据1获取的信息，MDM从Hive以及HBase中提取元数据，并将元数据信息保存在DBService上。用户可通过客户端登录FusionInsight Manager系统，查看元数据信息。
3. 将提取出来的元数据通过外部FTP服务器上传到第三方元数据管理系统中，以支撑更高层级的元数据管理。