计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

UDF概述

更新时间:2024-11-29 GMT+08:00

UDF(User Defined Function)即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。

UDF类型

IoTDB支持的UDF函数的类型如表1所示。

表1 UDF函数类型

UDF分类

描述

UDTF(User Defined Timeseries Generating Function)

自定义时间序列生成函数。该类函数允许接收多条时间序列,最终会输出一条时间序列,生成的时间序列可以有任意多数量的数据点。

UDTF(User Defined Timeseries Generating Function)

编写一个UDTF需要继承“org.apache.iotdb.db.query.udf.api.UDTF”类,并至少实现“beforeStart”方法和一种“transform”方法。

表2是所有可供用户实现的接口说明。

表2 接口说明

接口定义

描述

是否必须

void validate(UDFParameterValidator validator) throws Exception

在初始化方法“beforeStart”调用前执行,用于检测“UDFParameters”中用户输入的参数是否合法。

void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception

初始化方法,在UDTF处理输入数据前,调用用户自定义的初始化行为。用户每执行一次UDTF查询,框架就会构造一个新的UDF类实例,该方法在每个UDF类实例被初始化时调用一次。在每一个UDF类实例的生命周期内,该方法只会被调用一次。

void transform(Row row, PointCollector collector) throws Exception

该方法由框架调用。当在“beforeStart”中选择以“RowByRowAccessStrategy”的策略消费原始数据时,这个数据处理方法就会被调用。输入参数以“Row”的形式传入,输出结果通过“PointCollector”输出。需要在该方法内自行调用“collector”提供的数据收集方法,以决定最终的输出数据。

与“transform(RowWindow rowWindow, PointCollector collector) ”方法二选一

void transform(RowWindow rowWindow, PointCollector collector) throws Exception

该方法由框架调用。当在“beforeStart”中选择以“SlidingSizeWindowAccessStrategy”或者“SlidingTimeWindowAccessStrategy”的策略消费原始数据时,这个数据处理方法就会被调用。输入参数以“RowWindow”的形式传入,输出结果通过“PointCollector”输出。需要在该方法内自行调用“collector”提供的数据收集方法,以决定最终的输出数据。

与“transform(Row row, PointCollector collector)”方法二选一

void terminate(PointCollector collector) throws Exception

该方法由框架调用。该方法会在所有的“transform”调用执行完成后,在“beforeDestory”方法执行前被调用。在一个UDF查询过程中,该方法会且只会调用一次。需要在该方法内自行调用“collector”提供的数据收集方法,以决定最终的输出数据。

void beforeDestroy()

UDTF的结束方法。此方法由框架调用,并且只会被调用一次,即在处理完最后一条记录之后被调用。

调用顺序:

  1. void validate(UDFParameterValidator validator) throws Exception
  2. void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception
  3. void transform(Row row, PointCollector collector) throws Exception或者void transform(RowWindow rowWindow, PointCollector collector) throws Exception
  4. void terminate(PointCollector collector) throws Exception
  5. void beforeDestroy()
须知:

框架每执行一次UDTF查询,都会构造一个全新的UDF类实例,查询结束时,对应的UDF类实例即被销毁,因此不同UDTF查询(即使是在同一个SQL语句中)UDF类实例内部的数据都是隔离的。用户可以放心地在UDTF中维护一些状态数据,无需考虑并发对UDF类实例内部状态数据的影响。

使用方法

  • void validate(UDFParameterValidator validator) throws Exception

    “validate”方法能够对用户输入的参数进行验证。

    在该方法中限制输入序列的数量和类型,检查用户输入的属性或者进行自定义逻辑的验证。

  • void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception

    “beforeStart”方法有以下作用:

    • 帮助用户解析SQL语句中的UDF参数。
    • 配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。
    • 创建资源,比如建立外部链接,打开文件等。

UDFParameters

UDFParameters的作用是解析SQL语句中的UDF参数(SQL中UDF函数名称后括号中的部分)。参数包括路径(及其序列类型)参数和字符串“key-value”对形式输入的属性参数。

例如:

SELECT UDF(s1, s2, 'key1'='iotdb', 'key2'='123.45') FROM root.sg.d;

用法:

void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception {
  // parameters
 for (PartialPath path : parameters.getPaths()) {
    TSDataType dataType = parameters.getDataType(path);
   // do something
  }
  String stringValue = parameters.getString("key1"); // iotdb
  Float floatValue = parameters.getFloat("key2"); // 123.45
  Double doubleValue = parameters.getDouble("key3"); // null
  int intValue = parameters.getIntOrDefault("key4", 678); // 678
  // do something

  // configurations
  // ...
}

UDTFConfigurations

使用“UDTFConfigurations”指定UDF访问原始数据时采取的策略和输出结果序列的类型。

用法:

void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception {
  // parameters
  // ...

  // configurations
  configurations
    .setAccessStrategy(new RowByRowAccessStrategy())
    .setOutputDataType(TSDataType.INT32);
}

其中“setAccessStrategy”方法用于设定UDF访问原始数据时采取的策略,“setOutputDataType”用于设定输出结果序列的类型。

  • setAccessStrategy

    注意:在此处设定的原始数据访问策略决定了框架会调用哪一种“transform”方法,请实现与原始数据访问策略对应的“transform”方法。也可以根据“UDFParameters”解析出来的属性参数,动态决定设定哪一种策略,因此,实现两种“transform”方法也是被允许的。

    可以设定的访问原始数据的策略:

    接口定义

    描述

    调用transform方法

    RowByRowAccessStrategy

    逐行地处理原始数据。框架会为每一行原始数据输入调用一次“transform”方法。当UDF只有一个输入序列时,一行输入就是该输入序列中的一个数据点。当UDF有多个输入序列时,一行输入序列对应的是这些输入序列按时间对齐后的结果(一行数据中,可能存在某一列为null值,但不会全部都是null)。

    void transform(Row row, PointCollector collector) throws Exception

    SlidingTimeWindowAccessStrategy

    以滑动时间窗口的方式处理原始数据。框架会为每一个原始数据输入窗口调用一次“transform”方法。一个窗口可能存在多行数据,每一行数据对应的是输入序列按时间对齐后的结果(一行数据中,可能存在某一列为null值,但不会全部都是null)。

    void transform(RowWindow rowWindow, PointCollector collector) throws Exception

    SlidingSizeWindowAccessStrategy

    以固定行数的方式处理原始数据,即每个数据处理窗口都会包含固定行数的数据(最后一个窗口除外)。框架会为每一个原始数据输入窗口调用一次transform方法。一个窗口可能存在多行数据,每一行数据对应的是输入序列按时间对齐后的结果(一行数据中,可能存在某一列为null值,但不会全部都是null)。

    void transform(RowWindow rowWindow, PointCollector collector) throws Exception

    “RowByRowAccessStrategy”的构造不需要任何参数。

    “SlidingTimeWindowAccessStrategy”有多种构造方法,可以向构造方法提供三类参数:
    • 时间轴显示时间窗开始和结束时间。
    • 划分时间轴的时间间隔参数(必须为正数)。
    • 滑动步长(不要求大于等于时间间隔,但是必须为正数)。

    时间轴显示时间窗开始和结束时间不是必须要提供的。当不提供这类参数时,时间轴显示时间窗开始时间会被定义为整个查询结果集中最小的时间戳,时间轴显示时间窗结束时间会被定义为整个查询结果集中最大的时间戳。

    滑动步长参数也不是必须的。当不提供滑动步长参数时,滑动步长会被设定为划分时间轴的时间间隔。

    三类参数的关系可见下图:

    注意,最后的一些时间窗口的实际时间间隔可能小于规定的时间间隔参数。另外,可能存在某些时间窗口内数据行数量为0的情况,这种情况框架也会为该窗口调用一次“transform”方法。

    “SlidingSizeWindowAccessStrategy”有多种构造方法,用户可以向构造方法提供两个参数:
    • 窗口大小,即一个数据处理窗口包含的数据行数。注意,最后一些窗口的数据行数可能少于规定的数据行数。
    • 滑动步长,即下一窗口第一个数据行与当前窗口第一个数据行间的数据行数(不要求大于等于窗口大小,但是必须为正数)。

    滑动步长参数不是必须的。当不提供滑动步长参数时,滑动步长会被设定为窗口大小。

    注意:在此处设定的输出结果序列的类型,决定了“transform”方法中“PointCollector”实际能够接收的数据类型。“setOutputDataType”中设定的输出类型和“PointCollector”实际能够接收的数据输出类型关系如下:

    setOutputDataType中设定的输出类型

    PointCollector实际能够接收的输出类型

    INT32

    int

    INT64

    long

    FLOAT

    float

    DOUBLE

    double

    BOOLEAN

    boolean

    TEXT

    “java.lang.String”和“org.apache.iotdb.tsfile.utils.Binary”

  • UDTF输出序列的类型是运行时决定的。可以根据输入序列类型动态决定输出序列类型。
    例如:
    void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) throws Exception {
      // do something
      // ...
    
      configurations
        .setAccessStrategy(new RowByRowAccessStrategy())
        .setOutputDataType(parameters.getDataType(0));
    }
    • void transform(Row row, PointCollector collector) throws Exception

      当在“beforeStart”方法中指定UDF读取原始数据的策略为“RowByRowAccessStrategy”,就需要实现该方法,在该方法中增加对原始数据处理的逻辑。

      该方法每次处理原始数据的一行。原始数据由“Row”读入,由“PointCollector”输出。可以选择在一次“transform”方法调用中输出任意数量的数据点。需要注意的是,输出数据点的类型必须与在“beforeStart”方法中设置的一致,而输出数据点的时间戳必须是严格单调递增的。

      下面是一个实现了“void transform(Row row, PointCollector collector) throws Exception”方法的完整UDF示例。它是一个加法器,接收两列时间序列输入,当这两个数据点都不为“null”时,输出这两个数据点的代数和。

      import org.apache.iotdb.db.query.udf.api.UDTF;
      import org.apache.iotdb.db.query.udf.api.access.Row;
      import org.apache.iotdb.db.query.udf.api.collector.PointCollector;
      import org.apache.iotdb.db.query.udf.api.customizer.config.UDTFConfigurations;
      import org.apache.iotdb.db.query.udf.api.customizer.parameter.UDFParameters;
      import org.apache.iotdb.db.query.udf.api.customizer.strategy.RowByRowAccessStrategy;
      import org.apache.iotdb.tsfile.file.metadata.enums.TSDataType;
      
      public class Adder implements UDTF {
      
        @Override
        public void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) {
          configurations
              .setOutputDataType(TSDataType.INT64)
              .setAccessStrategy(new RowByRowAccessStrategy());
        }
      
        @Override
        public void transform(Row row, PointCollector collector) throws Exception {
          if (row.isNull(0) || row.isNull(1)) {
            return;
          }
          collector.putLong(row.getTime(), row.getLong(0) + row.getLong(1));
        }
      }
    • void transform(RowWindow rowWindow, PointCollector collector) throws Exception

      当在“beforeStart”方法中指定UDF读取原始数据的策略为“SlidingTimeWindowAccessStrategy”或者“SlidingSizeWindowAccessStrategy”时,就需要实现该方法,在该方法中增加对原始数据处理的逻辑。

      该方法每次处理固定行数或者固定时间间隔内的一批数据,称包含这一批数据的容器为窗口。原始数据由“RowWindow”读入,由“PointCollector”输出。“RowWindow”能够帮助访问某一批次的“Row”,它提供了对这一批次的“Row”进行随机访问和迭代访问的接口。可以选择在一次“transform”方法调用中输出任意数量的数据点,需要注意的是,输出数据点的类型必须与在“beforeStart”方法中设置的一致,而输出数据点的时间戳必须是严格单调递增的。

      下面是一个实现了“void transform(RowWindow rowWindow, PointCollector collector) throws Exception”方法的完整UDF示例。它是一个计数器,接收任意列数的时间序列输入,作用是统计并输出指定时间范围内每一个时间窗口中的数据行数。

      import java.io.IOException;
      import org.apache.iotdb.db.query.udf.api.UDTF;
      import org.apache.iotdb.db.query.udf.api.access.RowWindow;
      import org.apache.iotdb.db.query.udf.api.collector.PointCollector;
      import org.apache.iotdb.db.query.udf.api.customizer.config.UDTFConfigurations;
      import org.apache.iotdb.db.query.udf.api.customizer.parameter.UDFParameters;
      import org.apache.iotdb.db.query.udf.api.customizer.strategy.SlidingTimeWindowAccessStrategy;
      import org.apache.iotdb.tsfile.file.metadata.enums.TSDataType;
      
      public class Counter implements UDTF {
      
        @Override
        public void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) {
          configurations
              .setOutputDataType(TSDataType.INT32)
              .setAccessStrategy(new SlidingTimeWindowAccessStrategy(
                  parameters.getLong("time_interval"),
                  parameters.getLong("sliding_step"),
                  parameters.getLong("display_window_begin"),
                  parameters.getLong("display_window_end")));
        }
      
        @Override
        public void transform(RowWindow rowWindow, PointCollector collector) throws Exception {
          if (rowWindow.windowSize() != 0) {
            collector.putInt(rowWindow.getRow(0).getTime(), rowWindow.windowSize());
          }
        }
      }
    • void terminate(PointCollector collector) throws Exception

      在一些场景下,UDF需要遍历完所有的原始数据后才能得到最后的输出结果。“terminate”接口为这类UDF提供了支持。

      该方法会在所有的“transform”调用执行完成后,在“beforeDestory”方法执行前被调用。可以选择使用“transform”方法进行单纯的数据处理,最后使用“terminate”将处理结果输出。

      结果需要由“PointCollector”输出。可以选择在一次“terminate”方法调用中输出任意数量的数据点。需要注意的是,输出数据点的类型必须与在“beforeStart”方法中设置的一致,而输出数据点的时间戳必须是严格单调递增的。

      下面是一个实现了“void terminate(PointCollector collector) throws Exception”方法的完整UDF示例。它接收一个“INT32”类型的时间序列输入,作用是输出该序列的最大值点。

      import java.io.IOException;
      import org.apache.iotdb.db.query.udf.api.UDTF;
      import org.apache.iotdb.db.query.udf.api.access.Row;
      import org.apache.iotdb.db.query.udf.api.collector.PointCollector;
      import org.apache.iotdb.db.query.udf.api.customizer.config.UDTFConfigurations;
      import org.apache.iotdb.db.query.udf.api.customizer.parameter.UDFParameters;
      import org.apache.iotdb.db.query.udf.api.customizer.strategy.RowByRowAccessStrategy;
      import org.apache.iotdb.tsfile.file.metadata.enums.TSDataType;
      
      public class Max implements UDTF {
      
        private Long time;
        private int value;
      
        @Override
        public void beforeStart(UDFParameters parameters, UDTFConfigurations configurations) {
          configurations
              .setOutputDataType(TSDataType.INT32)
              .setAccessStrategy(new RowByRowAccessStrategy());
        }
      
        @Override
        public void transform(Row row, PointCollector collector) {
          int candidateValue = row.getInt(0);
          if (time == null || value < candidateValue) {
            time = row.getTime();
            value = candidateValue;
          }
        }
      
        @Override
        public void terminate(PointCollector collector) throws IOException {
          if (time != null) {
            collector.putInt(time, value);
          }
        }
      }
    • void beforeDestroy()

      UDTF的结束方法,可以在此方法中进行一些资源释放等的操作。

      此方法由框架调用。对于一个UDF类实例而言,生命周期中会且只会被调用一次,即在处理完最后一条记录之后被调用。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容