更新时间:2022-05-12 GMT+08:00
分享

窗口

GROUP WINDOW

语法说明

Group Window定义在GROUP BY里,每个分组只输出一条记录,包括以下几种:

  • 分组函数
    表1 分组函数表

    分组窗口函数

    说明

    TUMBLE(time_attr, interval)

    定义一个滚动窗口。滚动窗口把行分配到有固定持续时间( interval )的不重叠的连续窗口。比如,5 分钟的滚动窗口以 5 分钟为间隔对行进行分组。滚动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。

    HOP(time_attr, interval, interval)

    定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval 参数 )以及一个滑动的间隔(第一个 interval 参数 )。若滑动间隔小于窗口的持续时间,滑动窗口则会出现重叠;因此,行将会被分配到多个窗口中。比如,一个大小为 15 分组的滑动窗口,其滑动间隔为 5 分钟,将会把每一行数据分配到 3 个 15 分钟的窗口中。滑动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。

    SESSION(time_attr, interval)

    定义一个会话时间窗口。会话时间窗口没有一个固定的持续时间,但是它们的边界会根据 interval 所定义的不活跃时间所确定;即一个会话时间窗口在定义的间隔时间内没有时间出现,该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用事件时间(批处理、流处理)或处理时间(流处理)。

    注意:

    在流处理表中的 SQL 查询中,分组窗口函数的 time_attr 参数必须引用一个合法的时间属性,且该属性需要指定行的处理时间或事件时间。

    对于批处理的 SQL 查询,分组窗口函数的 time_attr 参数必须是一个 TIMESTAMP 类型的属性。

  • 窗口辅助函数
    可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性
    表2 窗口辅助函数表

    辅助函数

    说明

    TUMBLE_START(time_attr, interval)

    HOP_START(time_attr, interval, interval)

    SESSION_START(time_attr, interval)

    返回相对应的滚动、滑动和会话窗口范围内的下界时间戳。

    TUMBLE_END(time_attr, interval)

    HOP_END(time_attr, interval, interval)

    SESSION_END(time_attr, interval)

    返回相对应的滚动、滑动和会话窗口范围以外的上界时间戳。

    注意: 范围以外的上界时间戳不可以 在随后基于时间的操作中,作为行时间属性使用,比如基于时间窗口的join以及分组窗口或分组窗口上的聚合。

    TUMBLE_ROWTIME(time_attr, interval)

    HOP_ROWTIME(time_attr, interval, interval)

    SESSION_ROWTIME(time_attr, interval)

    返回的是一个可用于后续需要基于时间的操作的时间属性(rowtime attribute),比如基于时间窗口的join以及 分组窗口或分组窗口上的聚合。

    TUMBLE_PROCTIME(time_attr, interval)

    HOP_PROCTIME(time_attr, interval, interval)

    SESSION_PROCTIME(time_attr, interval)

    返回一个可用于后续需要基于时间的操作的 处理时间参数,比如基于时间窗口的join以及分组窗口或分组窗口上的聚合.

    注意:辅助函数必须使用与GROUP BY 子句中的分组窗口函数完全相同的参数来调用.

示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// 每天计算SUM(金额)(事件时间)。
insert into temp SELECT name,
    TUMBLE_START(ts, INTERVAL '1' DAY) as wStart,
    SUM(amount)
    FROM Orders
    GROUP BY TUMBLE(ts, INTERVAL '1' DAY), name;

// 每天计算SUM(金额)(处理时间)。
insert into temp SELECT name, 
    SUM(amount) 
    FROM Orders 
    GROUP BY TUMBLE(proctime, INTERVAL '1' DAY), name;

// 每个小时计算事件时间中最近24小时的SUM(数量)。
insert into temp SELECT product, 
    SUM(amount) 
    FROM Orders 
    GROUP BY HOP(ts, INTERVAL '1' HOUR, INTERVAL '1' DAY), product;

// 计算每个会话的SUM(数量),间隔12小时的不活动间隙(事件时间)。
insert into temp SELECT name, 
    SESSION_START(ts, INTERVAL '12' HOUR) AS sStart,
    SESSION_END(ts, INTERVAL '12' HOUR) AS sEnd,
    SUM(amount)
    FROM Orders
    GROUP BY SESSION(ts, INTERVAL '12' HOUR), name;

TUMBLE WINDOW扩展

功能描述

DLI TUMBLE函数功能增强主要包括以下功能:
  • TUMBLE窗口周期性触发,控制延迟

    TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。

  • 提高数据的精确性

    在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果

注意事项

若使用insert语句将结果写入sink中,则sink需要支持upsert模式。

语法格式

TUMBLE(time_attr, window_interval, period_interval, lateness_interval)

语法示例

例如当前time_attr属性列为:testtime,窗口时间间隔为10秒,语法示例为:
TUMBLE(testtime, INTERVAL '10' SECOND, INTERVAL '10' SECOND, INTERVAL '10' SECOND)

参数说明

表3 参数说明

参数

说明

参数格式

time_attr

表示相应的事件时间或者处理时间属性列。

-

window_interval

表示窗口的持续时长。

  • 格式1:INTERVAL '10' SECOND

    表示窗口时间间隔为10秒,请根据实际情况修改该时间值。

  • 格式2:INTERVAL '10' MINUTE

    表示窗口时间间隔为10分钟,请根据实际情况修改该时间值。

  • 格式3:INTERVAL '10' DAY

    表示窗口时间间隔为10天,请根据实际情况修改该时间值。

period_interval

表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。

lateness_interval

表示窗口结束后延迟lateness_interval时长,继续统计在窗口结束后延迟时间内到达的属于该窗口的数据,而且在延迟时间内到达的每个数据都会更新输出结果。

说明:

当时间窗口为处理时间时,无论lateness_interval为何值,都不会有效果。

period_interval和lateness_interval不可为负数。
  • 当period_interval为0时,表示没有使用窗口的周期触发策略;
  • 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略;
  • 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。
  • 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。

OVER WINDOW

Over Window与Group Window区别在于Over window每一行都会输出一条记录。

语法格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
SELECT agg1(attr1) OVER (
  [PARTITION BY partition_name]
  ORDER BY proctime|rowtime 
  ROWS  
 BETWEEN (UNBOUNDED|rowCOUNT) PRECEDING AND CURRENT ROW FROM TABLENAME

SELECT agg1(attr1) OVER (
  [PARTITION BY partition_name]
  ORDER BY proctime|rowtime 
  RANGE  
  BETWEEN (UNBOUNDED|timeInterval) PRECEDING AND CURRENT ROW FROM TABLENAME

语法说明

表4 参数说明

参数

参数说明

PARTITION BY

指定分组的主键,每个分组各自进行计算。

ORDER BY

指定数据按processing time或event time作为时间戳。

ROWS

个数窗口。

RANGE

时间窗口。

注意事项

  • 所有的聚合必须定义到同一个窗口中,即相同的分区、排序和区间。
  • 当前仅支持 PRECEDING (无界或有界) 到 CURRENT ROW 范围内的窗口、FOLLOWING 所描述的区间并未支持。
  • ORDER BY 必须指定于单个的时间属性。

示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
// 计算从规则启动到目前为止的计数及总和(in proctime)
insert into temp SELECT name,
    count(amount) OVER (PARTITION BY name ORDER BY proctime RANGE UNBOUNDED preceding) as cnt1,
    sum(amount) OVER (PARTITION BY name ORDER BY proctime RANGE UNBOUNDED preceding) as cnt2
    FROM Orders;
  
// 计算最近四条记录的计数及总和(in proctime)
insert into temp SELECT name,
    count(amount) OVER (PARTITION BY name ORDER BY proctime ROWS BETWEEN 4 PRECEDING AND CURRENT ROW) as cnt1,
    sum(amount) OVER (PARTITION BY name ORDER BY proctime ROWS BETWEEN 4 PRECEDING AND CURRENT ROW) as cnt2
    FROM Orders;

// 计算最近60s的计数及总和(in eventtime),基于事件时间处理,事件时间为Orders中的timeattr字段。
insert into temp SELECT name,
    count(amount) OVER (PARTITION BY name ORDER BY timeattr RANGE BETWEEN INTERVAL '60' SECOND PRECEDING AND CURRENT ROW) as cnt1,
    sum(amount) OVER (PARTITION BY name ORDER BY timeattr RANGE BETWEEN INTERVAL '60' SECOND PRECEDING AND CURRENT ROW) as cnt2
    FROM Orders;
分享:

    相关文档

    相关产品

close