更新时间:2026-11-10 GMT+08:00
分享

CREATE CATALOG

概述

CREATE CATALOG语句用于在当前会话中注册外部Catalog。Catalog是Flink元数据管理的顶层命名空间,包含数据库、表、视图和函数等对象。AI DataLake当前确认支持HiveCatalog,用于连接Hive Metastore实现Flink与Hive的数据互操作。

适用场景

  • Hive数据集成:通过HiveCatalog访问Hive中的表数据,在Flink SQL中进行流批一体化处理。
  • 元数据统一管理:将Hive元数据纳入Flink的Catalog体系,实现统一查询与管理。
  • 跨数据源查询:注册多个Catalog后,在SQL中通过全限定名(catalog.database.table)跨数据源查询。

约束与限制

  • 使用HiveCatalog需确保Hive Metastore服务可用且网络连通。
  • Catalog注册后仅在当前会话有效,不会持久化到集群级别。
  • 注册同名Catalog会覆盖已有Catalog,需使用IF NOT EXISTS避免冲突。

语法结构

CREATE CATALOG [IF NOT EXISTS] catalog_name
WITH (key1=val1, key2=val2, ...)

使用示例

示例1:创建HiveCatalog

-- 创建HiveCatalog
CREATE CATALOG IF NOT EXISTS myhive
WITH (
    'type' = 'hive',
    'metastore' = 'lakeformation'
  );

-- 创建DataGen源表
CREATE TABLE datagen_source (
id BIGINT,
name STRING,
`value` DOUBLE
) WITH (
'connector' = 'datagen',
'rows-per-second' = '100',
'fields.id.kind' = 'sequence',
'fields.id.start' = '1',
'fields.id.end' = '10000',
'fields.name.length' = '8',
'fields.value.min' = '0.0',
'fields.value.max' = '100.0'
);

-- 创建Print结果表
CREATE TABLE print_sink (
id BIGINT,
name STRING,
`value` DOUBLE
) WITH (
'connector' = 'print',
'print-identifier' = 'catalog_output'
);

-- 提交作业
INSERT INTO print_sink
SELECT id, name, `value`
FROM datagen_source;

相关文档