更新时间:2026-11-06 GMT+08:00
分享

CREATE TABLE

概述

CREATE TABLE语句用于在当前或指定Catalog中注册表,定义表的结构(物理列、计算列、元数据列)、时间属性(Watermark)、约束(主键)和连接器配置(WITH子句)。注册后的表可在SQL查询中作为源表或结果表使用。AI DataLake支持Flink SQL标准建表语法,涵盖分区表、LIKE建表等核心能力。

适用场景

  • 数据接入:通过CREATE TABLE定义外部数据源(如Kafka、HDFS)的映射表,实现数据读取与写入。
  • 流式ETL:定义带Watermark和计算列的源表,配合窗口函数完成实时数据转换。
  • 分区管理:使用PARTITIONED BY创建分区表,优化大数据量场景下的查询性能。
  • 表结构复用:通过LIKE子句基于已有表快速创建新表,减少重复定义。

约束与限制

  • AI DataLake不支持CREATE TEMPORARY TABLE语法,所有表均为持久化表。
  • 主键约束声明为NOT ENFORCED,Flink不会校验数据唯一性,需依赖外部存储保证。
  • 一个表只能定义一个Watermark,即只能声明一个事件时间字段。
  • PARTITIONED BY仅支持在连接器支持分区的场景下使用(如Hive、Paimon等),Kafka等连接器不支持分区表。
  • 计算列不能引用其他计算列,只能引用物理列和元数据列。
  • 元数据列的可用性取决于连接器实现,不同连接器支持的元数据不同。
  • LIKE子句的INCLUDING/EXCLUDING选项需与源表结构匹配,错误的组合会导致建表失败。

语法结构

完整语法

CREATE TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name (
  { <physical_column_definition> | <metadata_column_definition> | <computed_column_definition> }
  [ , ...n]
  [ <watermark_definition> ]
  [ <table_constraint> ]
  [ , ...n]
)
[COMMENT table_comment]
[PARTITIONED BY (partition_column_name1, partition_column_name2, ...)]
WITH (key1=val1, key2=val2, ...)
[ LIKE source_table [( <like_options> )] ]

列定义语法

-- 物理列
<physical_column_definition>:
  column_name column_type [ <column_constraint> ] [COMMENT column_comment]

<column_constraint>:
  [CONSTRAINT constraint_name] PRIMARY KEY NOT ENFORCED

-- 元数据列
<metadata_column_definition>:
  column_name column_type METADATA [ FROM metadata_key ] [ VIRTUAL ]

-- 计算列
<computed_column_definition>:
  column_name AS computed_column_expression [COMMENT column_comment]

Watermark定义语法

<watermark_definition>:
  WATERMARK FOR rowtime_column_name AS watermark_strategy_expression

主键约束语法

<table_constraint>:
  [CONSTRAINT constraint_name] PRIMARY KEY (column_name, ...) NOT ENFORCED

LIKE选项语法

<like_options>:
  {
    { INCLUDING | EXCLUDING } { ALL | CONSTRAINTS | PARTITIONS }
  | { INCLUDING | EXCLUDING | OVERWRITING } { GENERATED | OPTIONS | WATERMARKS }
  }[, ...]

参数说明

主句参数

参数

必填

说明

IF NOT EXISTS

否

指定当同名表已存在时不报错,直接跳过创建。未指定时若同名表存在则抛出异常。

catalog_name.db_name

否

指定表所在的Catalog和数据库名。未指定时使用当前Catalog和数据库。

table_name

是

表名,在同一数据库内必须唯一。

COMMENT table_comment

否

为表添加注释说明。

PARTITIONED BY

否

指定分区列,将表按分区列值存储到不同目录。仅连接器支持分区时有效,分区列必须是表中已定义的物理列。

WITH (key1=val1, ...)

是

指定表的连接器配置项,以键值对形式提供。connector参数为必填项,决定数据来源或去向。

LIKE source_table

否

基于已有表的结构创建新表,支持INCLUDING/EXCLUDING/OVERWRITING控制结构继承策略。可复用表结构而避免重复定义。

列类型参数

列类型

关键字

说明

物理列

无特殊关键字

定义物理介质中存储数据的字段,是最常用的列定义方式。物理列的顺序与数据源中的字段顺序对应。

计算列

AS

通过表达式生成的虚拟列,不物理存储在表中。常用于定义Processing Time(AS PROCTIME())或派生字段。只能引用物理列和元数据列,不能引用其他计算列。

元数据列

METADATA

访问连接器数据源的元数据信息,如Kafka的timestamp、offset等。VIRTUAL标记表示该元数据仅读取不持久化。可用性取决于连接器实现。

Watermark参数

参数

必填

说明

rowtime_column_name

是

指定事件时间列,必须为TIMESTAMP(3)或TIMESTAMP_LTZ(3)类型。一个表只能定义一个Watermark。

watermark_strategy_expression

是

水位线生成策略表达式,用于计算Watermark的时间戳。常用策略为rowtime_column - INTERVAL 'n' SECOND,表示允许最大n秒的乱序。

主键约束参数

参数

必填

说明

constraint_name

否

约束名称,可选。

column_name, ...

是

主键包含的一个或多个列,这些列不允许为NULL。

NOT ENFORCED

是

Flink不强制校验主键唯一性,需依赖外部存储保证。此关键字为必填,不可省略。主键用于upsert连接器的语义判断。

LIKE选项参数

选项

可选策略

说明

ALL

INCLUDING / EXCLUDING

控制是否包含源表的所有特性。INCLUDING ALL表示全部继承,EXCLUDING ALL表示全部排除。

CONSTRAINTS

INCLUDING / EXCLUDING

控制是否包含主键等约束。INCLUDING CONSTRAINTS继承约束,EXCLUDING CONSTRAINTS不继承。

PARTITIONS

INCLUDING / EXCLUDING

控制是否包含分区信息。INCLUDING PARTITIONS继承分区定义,EXCLUDING PARTITIONS不继承。

GENERATED

INCLUDING / EXCLUDING / OVERWRITING

控制计算列和元数据列的继承。INCLUDING继承,EXCLUDING排除,OVERWRITING用新定义覆盖源表计算列。

OPTIONS

INCLUDING / EXCLUDING / OVERWRITING

控制WITH选项的继承。INCLUDING OPTIONS继承所有连接器配置,EXCLUDING OPTIONS不继承,OVERWRITING OPTIONS用新配置覆盖同名项。

WATERMARKS

INCLUDING / EXCLUDING / OVERWRITING

控制Watermark定义的继承。INCLUDING WATERMARKS继承水位线,EXCLUDING WATERMARKS不继承,OVERWRITING WATERMARKS用新定义覆盖。

使用示例

AI DataLake支持多种连接器,各连接器具有特定的使用示例,详情请参见连接器的支持情况查看各连接器文档中的使用示例。

相关文档