FlinkServer Catalog管理

操作场景

在FlinkServer作业开发中，用户需要频繁访问Hive、Hudi、Paimon、Iceberg等不同数据源的表。如果每次都在Flink SQL中手动创建表定义，不仅操作繁琐，还容易出现表结构与底层数据源不一致的问题。通过Catalog管理功能，FlinkServer可以自动对接底层数据源的元数据信息，实现表的自动发现和统一管理，从而简化作业开发流程。

约束与限制

• 本章节适用于MRS 3.6.0-LTS.1及以后版本。
• Catalog创建成功后不支持修改Catalog名称，因为FlinkSQL中会使用该名称。
• 仅支持对接本集群Hive MetaStore，暂不支持对接LakeFormation。
• 新建集群默认开启Catalog管理能力，不支持集群连接、数据连接和流表管理功能。
• 如果要升级到MRS 3.6.0-LTS.1版本并使用Catalog管理功能，需要将原有的流表重新创建在Hive类型的Catalog中。
• 单应用中最多创建10个Catalog。
• FlinkSQL中需要使用三段式来访问Catalog中的表：`${catalog_name}`.`${db_name}`.`${table_name}`。
• Flink引擎不额外对库表进行鉴权。
• 仅支持主备模式下启用FlinkServer的Catalog管理功能。

前提条件

• 集群已安装Hive、Flink服务，且服务运行正常。
• 启用FlinkServer的Catalog管理功能，需要配置“flinkserver.catalog.module.enabled”的参数值为“true”，并重启FlinkServer实例。该配置项为角色级别配置，修改后所有实例级别的该配置项都将被修改。
  1. 登录集群Manager界面，选择“集群 > 服务 > Flink >配置 > 全部配置”，搜索“flinkserver.catalog.module.enabled”参数并设置为“true”，单击“保存”，在弹出窗口单击“确定”保存配置。

     登录集群Manager具体操作，请参考访问MRS集群Manager。

  2. 单击“实例”，勾选所有FlinkServer实例，选择“更多 > 重启实例”。

创建Catalog

1. 访问Flink WebUI，请参考访问FlinkServer WebUI界面。
2. 选择“系统管理 > Catalog管理”，进入Catalog管理页面。
3. 单击“创建Catalog”，在弹出的页面中参考表1填写信息，单击“确定”，完成Catalog创建。

   表1 创建Catalog信息

   参数名称	参数描述
   Catalog名称	Catalog的名称。
   Hive配置文件	Hive配置文件，名称及格式为hive-site.xml。 Hive配置文件获取方法： 登录Manager，选择“集群 > 服务 > Hive”，在右上角的“更多”选择“下载客户端 > 仅配置文件”，选择平台类型和下载位置后单击“确定”。
   Catalog类型	Catalog的类型：分为Hive、Hudi、Paimon和Iceberg。
   描述	Catalog的描述信息。
   自定义配置	根据实际业务场景填写Catalog所需配置。