UDF概述
当Fabric SQL的内置函数无法满足用户业务场景时，用户可以使用自定义函数来封装业务逻辑，UDF的具体能力请参考自定义函数。
在FabricData SDK中支持了Scalar UDF、Class UDF、Vectorized UDF、UDTF、UDAF等不同类别UDF的注册和使用。
类型 | 输入 | 输出 | 描述 |
|---|---|---|---|
Scalar UDF（标量UDF） | 单行输入，多参数，例如(a, b, c) | 单行输出，一个标量，例如int/float/string/date | 最常见形式，每次被调用时只处理一行数据。可以做简单计算、格式化、清洗、转换。例如：字符串清洗、数学计算、日期转换。类比Python的普通函数。 |
Class UDF（类UDF） | 与Scalar UDF相同：单行输入 | 单行输出 | 是对Scalar UDF的OOP封装方式，适合有内部缓存、初始化参数、模型对象等情况。例如需要在函数内部加载一次模型、正则、配置。数据库只是在内部初始化一次，不需要每次调用都构建资源。 |
Vectorized UDF（向量化UDF） | 一次性输入一批行，类型为pandas.Series/pyarrow.ChunkedArray | 一次性输出同等数量行的向量化结构 | 性能最优的单行转换方式，用于批量处理。适合：向量化数学计算、文本批量处理、embedding处理、NLP分词。具有SIMD/批量执行优势，常用于Arrow、Pandas。 |
UDTF（User Defined Table Function，表函数） | 单行输入 | 多行输出 | 一个输入可能产出多个输出行。类似Python的yield。用于拆分、展开、解包结构化数据。例如：拆分JSON数组、展开多模态数据、音频/视频分片、tokenize、爆炸式展开。 |
UDAF（User Defined Aggregate Function，聚合函数） | 多行输入，可能来自多个分区 | 单个输出 | 对一组数据做聚合的函数：累加、统计、聚类、embedding聚合。具备accumulate、merge、finish生命周期，支持分布式执行。 |
UDF注册类型
不管是显式注册还是隐式注册，对于不同的UDF注册类型，其含义有所不同，详情参见下表：
UDF注册类型 | 含义 | 是否向量化 | 适用场景与特点 | 参考 |
|---|---|---|---|---|
python | 将一个原始的Python函数或者类注册进数据库中。 | 否 | 逐行处理数据，适用于简单或特定的计算，但性能较低。 | |
builtin | 获得数据库已存在的函数的句柄，无实际注册的操作。 | 否 | 直接调用数据库后端已存在的函数，适用于利用数据库原生功能的场景。 | |
pyarrow | 将一个接受pyarrow.ChunkedArray作为输入和输出的Python函数或类注册进数据库中。 | 是 | 利用Pandas的矢量化操作，适用于需要在Python层进行复杂数据处理的场景。 | |
pandas | 将一个接受pandas.Series作为输入和输出的Python函数或类注册进数据库中。 | 是 | 利用PyArrow的高性能计算能力，适用于需要处理大型数据集或进行高效计算的场景。 |
对于Scalar UDF，目前支持全部上述4种注册类型。
对于UDAF、UDTF，目前仅支持上述的python、builtin这2种注册类型。
UDF运行时的额外参数
不管是显式注册还是隐式注册，对于所有的UDF类型，都支持在使用时通过with_arguments方法传入额外参数。这些参数包括了concurrency、min_concurrency、max_concurrency、timeout、dpu、apu，可以为UDF的执行提供细粒度的资源分配、并发度控制、时间上限等。
具体用法见UDF WITH ARGUMENTS使用语法。
