FileSystem源表

功能描述

文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。

当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器

语法格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

CREATE TABLE sink_table (
   name string,
   num INT,
   p_day string,
   p_hour string
) partitioned by (p_day, p_hour) WITH (
   'connector' = 'filesystem',
   'path' = 'obs://*** ',
   'format' = 'parquet',
   'source.monitor-interval'=''
);

参数说明

• 目录监控

  默认情况下，文件系统连接器是有界的，也就是只会扫描配置路径一遍后就会停止。

  如果需要，可以通过设置 source.monitor-interval 属性来开启目录监控，以便在新文件出现时继续扫描。

  键	默认值	类型	描述
  source.monitor-interval	无	Duration	设置新文件的监控时间间隔，并且必须设置 > 0 的值。 每个文件都由其路径唯一标识，一旦发现新文件，就会处理一次。 已处理的文件在 source 的整个生命周期内存储在 state 中，因此，source 的 state 在 checkpoint 和 savepoint 时进行保存。 更短的时间间隔意味着文件被更快地发现，但也意味着更频繁地遍历文件系统/对象存储。 如果未设置此配置选项，则提供的路径仅被扫描一次，因此源将是有界的。

示例

从obs表作为数据源读取数据，输出到print connector。

CREATE TABLE obs_source(
   name string,
   num INT,
   `file.path` STRING NOT NULL METADATA
) WITH (
   'connector' = 'filesystem',
   'path' = 'obs://demo/sink_parquent_obs',
   'format' = 'parquet',
   'source.monitor-interval'='1 h'
);


CREATE TABLE print (
   name string,
   num INT,
   path  STRING
) WITH (
   'connector' = 'print'
);

insert into print
select * from obs_source;