文档首页/ 智能数据湖 AI DataLake/ 版本规划/ AI DataLake 26.9.0 版本说明
更新时间:2026-11-19 GMT+08:00
分享

AI DataLake 26.9.0 版本说明

本节内容介绍了AI DataLake 26.9.0版本中各引擎版本配套关系和特性说明。本文档仅列出该版本新增或变更的特性,历史版本已发布的特性在后续版本中持续有效,不再重复列出。

各引擎版本支持情况

AI DataLake当前提供的各引擎版本配套关系和特性说明如表1所示。

表1 各引擎版本支持情况

引擎

版本

版本特性说明

多模数据引擎Aura

3.9.0

多模数据引擎Aura 3.9.0版本特性说明

AI计算引擎Ray

2.54.0

AI计算引擎Ray 2.54.0版本特性说明

批处理引擎Spark

4.0.2

批处理引擎Spark 4.0.2版本特性说明

流处理引擎Flink

1.20.0

流处理引擎Flink 1.20.0版本特性说明

多模数据引擎Aura 3.9.0版本特性说明

表2 多模数据引擎AuraJobV2版本特性说明

主要功能/特性

说明

相关文档

Catalog SDK(UDF SDK)

对LakeFormation与OBS的REST API进行封装,用于简化UDF的注册与管理开发,满足UDF管理和使用分离的场景。

Catalog SDK

UDF相关特性

  • 支持UDF自定义异常处理,在UDF中定义异常处理规则,当函数执行出错时按您定义的方式处理,例如记录特定错误信息、返回自定义结果,而不是直接报错终止,提升UDF的健壮性。
  • 支持UDF自定义日志格式,自定义UDF运行日志的输出格式,例如添加自定义标识、系统信息,便于日志检索与问题定位,提升UDF的可观测性。
  • 支持UDF运行时日志被上报到LTS,无需登录引擎即可集中查看和检索UDF日志,实现可观测。
  • UDTF支持并发执行,并支持返回自定义返回值,提升表函数处理效率。
  • 支持UDF Fusion(UDF融合),合并多个UDF调用,减少数据拷贝和跨Actor通讯开销、优化执行性能。
  • 支持UDF高效流转多模态大数据:UDF之间通过指针引用传递大对象数据(如视频、音频、图片等),减少数据拷贝开销,提升多模态作业执行性能。

UDF错误处理与重试

Python UDF

优化器方法配置

其他优化器选项

AuraJobV2作业能力提升

  • AuraJobV2作业支持断点续作能力,作业不再因单点故障而整体重跑,提升大数据作业的执行成功率与执行效率。
  • AuraJobV2作业支持设置调度优先级,高优先级作业优先获得计算资源。
  • AuraJobV2作业支持使用委托凭据。
  • AuraJobV2作业提交支持设置CN(数据库协调节点)的CPU和内存大小。

断点续作

设置Aura作业优先级

查询优化

  • 多表关联查询时,支持TopN Runtime Filter,提升查询过滤效率。
  • 支持NOT-NULL约束,可指定表的列不允许为空。

多表连接查询

镜像

创建AuraJobV2端点时支持配置镜像快照,缩短镜像拉取与容器启动时间。

镜像

端点监控

AuraJobV2支持配置监控指标的告警规则。

AOM Prometheus监控

数据湖存储集成

Iceberg表支持带时区的时间戳类型Timestamp with Timezone。

Iceberg表支持的数据类型

数据格式

  • 支持Images、Video、Audio多模格式读写。
  • 支持Lance
  • 支持Iceberg V3
  • 支持Parquet、CSV、TEXT多种开放文件格式读写。

_

生态配套

  • Python 3.10版本
  • Python 3.11版本
  • Iceberg 1.10.0版本
  • Arrow 17.0.0版本
  • Parquet 17.0.0版本
  • ORC 1.8.5版本

_

表3 多模数据引擎AuraJob版本特性说明

主要功能/特性

说明

相关文档

端点资源监控

支持配置端点资源监控和告警规则,对接自定义AOM实例。

AOM Prometheus监控

作业监控

支持配置作业监控与告警规则,对接自定义AOM实例。

AOM Prometheus监控

作业管理

AuraJob作业支持设置调度优先级,高优先级作业优先获得计算资源。

设置Aura作业优先级

AI计算引擎Ray 2.54.0版本特性说明

表4 AI计算引擎Ray版本特性说明

主要功能/特性

说明

相关文档

联邦集群与大规模算力调度

支持Ray联邦类型端点,可纳管多集群并实现负载均衡调度与排队,满足千卡万核规模的大算力需求。

Ray引擎端点概述

智能调度,提升智算卡资源利用率

支持Task与Actor自动装箱调度策略,将任务与计算资源更合理地匹配,减少资源闲置,提升智算卡的利用效率。

装箱调度策略

Python SDK 作业提交

提供Python SDK方式提交作业,让开发者无需关注底层集群细节,以更熟悉的编程方式快速提交与管理Ray任务。

Ray SDK概述

镜像加速

使用API连接RayJob端点提交作业时,如果所选镜像版本已创建镜像快照,选择该版本镜像时会自动关联对应的镜像快照,缩短镜像拉取时间。

镜像

提供纯CPU镜像与融合镜像

将原有的CPU&NPU&GPU融合大镜像拆分为纯CPU镜像与融合镜像两种形态,使CPU场景无需拉取GPU/NPU依赖,从而减小镜像体积、加快拉取与启动速度,提升资源利用率与任务部署效率。

镜像

原生Ray API兼容,零代码迁移

提供与开源Ray 2.54.0版本完全一致的API接口和行为语义,用户无需修改任何业务代码或工作流,即可将现有Ray应用无缝迁移至AI DataLake平台。

_

数据格式

  • 支持Images、WebDataset多模态数据读、写,支持Audio、TEXT、BINARY多模态数据读取。
  • 支持CSV、JSON、JSONL、Parquet、Numpy数据读、写。

_

生态配套

  • Python 3.10版本
  • Python 3.11版本

_

批处理引擎Spark 4.0.2版本特性说明

表5 批处理引擎Spark版本特性说明

主要功能/特性

说明

相关文档

Spark对接BI报表

通过Spark SQL的JDBC接口,BI工具可直接连接查询Spark数据,支持Tableau、Apache Superset、FineBI主流工具的对接。

使用BI工具连接AI DataLake Spark分析数据

Python SDK

支持Python SDK,支持使用Python SDK提交Spark Job与Spark SQL作业。

Spark SDK参考(Python)

Java SDK

支持Java SDK,支持使用Java SDK提交Spark Job与Spark SQL作业。

Spark SDK参考(Java)

支持配置运维人员访问授权

开启授权后运维人员可在您设置的有效期内查看您端点的作业日志、SparkUI。

运维人员访问授权

聚合优化

支持Spark聚合优化,自动缓解数据倾斜,并提供最佳实践指导,提升大规模作业执行性能。

数据倾斜排查及解决方法

端点资源监控&作业监控

Spark支持配置端点资源监控、作业监控与告警,对接自定义AOM实例。

AOM Prometheus监控

镜像加速

创建Spark端点时支持配置镜像快照,缩短镜像拉取与容器启动时间。

镜像

原生兼容

提供与开源Spark 4.0.2版本部分兼容的API接口和行为语义。

Spark语法参考

数据湖存储集成

支持Paimon数据格式,扩展了Spark支持的数据湖生态。

_

数据格式

  • 支持Iceberg V3
  • 支持Paimon
  • 支持Parquet、CSV、TEXT传统湖仓格式读写。

_

生态配套

  • Python 3.9版本
  • JDK 21版本
  • Scala 2.13版本
  • Iceberg 1.10.0版本
  • Paimon 1.2.0版本

_

流处理引擎Flink 1.20.0版本特性说明

表6 流处理引擎Flink版本特性说明

主要功能/特性

说明

相关文档

支持的连接器

  • Iceberg连接器:读写Iceberg湖仓表数据,支持源表、维表、结果表。
  • Paimon连接器:读写Paimon湖仓表数据(流批一体),支持源表、维表、结果表。
  • Doris连接器:读写CloudTable Doris数据库数据,支持Stream Load高效写入,支持源表、维表、结果表。
  • Kafka连接器:读写DMS Kafka消息队列数据,支持源表、结果表(不支持维表)。
  • Upsert-Kafka连接器:以Upsert语义读写DMS Kafka数据,支持源表、结果表(不支持维表)。
  • FileSystem连接器:读写本地文件系统、OBS等存储数据,支持批流统一读写,支持源表、结果表(不支持维表)。
  • DataGen连接器:按规则生成随机或序列测试数据,无需外部数据源,仅支持源表。
  • BlackHole连接器:丢弃所有写入的数据,不产生输出,仅支持结果表。
  • Print连接器:将数据打印到标准输出,用于开发调试,仅支持结果表。

连接器

作业自动调优

支持Flink作业算子并行度按作业负载动态扩缩容。基于实时指标(吞吐量、背压、CPU 利用率)自动调整算子并行度,无需人工干预。

Flink作业自动调优

端点管理

  • 提供Flink Job类型的端点。
  • 支持配置以下资源使用模式。
    • 预留资源:适合负载稳定、持续运行的业务场景,如生产项目、关键任务。
    • 混合模式:兼顾效率与突发场景,适用于日常有稳定负载,有突发的波峰波谷的场景。
    • 按需弹性:实现秒级扩容,适合短期或偶发性的业务需求,如开发测试或临时任务。

创建Flink引擎端点

作业委托凭据

Flink作业运行时通过委托凭据自动获取临时访问凭证,用于访问OBS、LakeFormation等云服务。作业配置中无需明文保存AK/SK,避免凭据泄露风险,提升作业访问云服务的安全性。

获取Flink作业委托临时凭证用于访问其他云服务

隐私变量对接DEW

Flink作业通过隐私变量引用敏感配置(如数据库密码、访问密钥等),真实值安全保存于DEW。作业运行时安全获取敏感配置,敏感信息不出现于作业配置、代码与日志中,避免明文暴露,保障配置安全。

端点资源监控&作业监控

Flink支持配置端点资源监控、作业监控与告警,对接自定义AOM实例。

AOM Prometheus监控

镜像

  • 自定义镜像:创建端点时选择自定义镜像,通过Dockerfile集成自研算法库、系统依赖包或特定版本的Python库,构建符合业务场景的个性化运行环境。
  • 镜像加速:支持关联镜像快照,缩短镜像拉取与容器启动时间。

镜像

原生Flink兼容

提供与开源Flink 1.20版本兼容的API接口和行为语义。

_

数据湖存储集成

支持对Iceberg、Paimon格式元数据的管理能力,扩展了Flink支持的数据湖生态。

Iceberg on Flink

Paimon on Flink

支持Multi Join

Flink SQL多表Join场景下,默认多个Join逐个执行、每个产生独立中间状态,关联表较多时中间状态大量累积,占用存储资源并降低作业性能。FlinkSQL支持Multi Join,可将多个Join操作合并为一个Multi Join算子,有效减少中间状态,提升宽表实时加工性能。

_

维表Join

Flink On Iceberg支持将实时流数据与存储在Iceberg中的静态维度数据进行关联,补齐流记录的数据,实现实时流与维表的关联查询。

Iceberg on Flink

支持VARIANT类型

Flink写Iceberg时支持VARIANT数据类型,可处理动态变化和嵌套的半结构化数据,扩展对复杂数据结构的支持。

_

Lookup Join语法简化

使用FOR SYSTEM_TIME AS OF PROCTIME(),表中无需再定义proc_time字段,且子查询同样适用。

_

JSON_VALUE函数性能优化

内置JSON_VALUE函数解析一个JSON item的多个字段时,复用该JSON item 的解析结果,提升算子性能。

_

Kafka、Upsert-Kafka Connector支持限流读

支持在使用FlinkSQL的Kafka、Upsert-Kafka Connector消费数据时进行限流,控制消费速率。

_

增强函数

FlinkSQL支持以下增强函数:

  • 位运算函数:BITAND、BITNOT、BITOR、BITXOR
  • 日期时间函数:DATE_ADD、DATE_SUB、DATEDIFF
  • URL 编解码函数:URL_DECODE、URL_ENCODE

_

数据格式

  • 支持Iceberg V3(Iceberg V3仅支持append写入,不支持upsert写入)
  • 支持Paimon
  • 支持Parquet、CSV、TEXT、ORC传统湖仓格式读写。

_

生态配套

  • Python 3.9版本
  • JDK 21版本
  • Scala 2.12版本
  • Iceberg 1.10.0版本
  • Paimon 1.2.0版本

_

相关文档