AI DataLake 26.9.0 版本说明
本节内容介绍了AI DataLake 26.9.0版本中各引擎版本配套关系和特性说明。本文档仅列出该版本新增或变更的特性，历史版本已发布的特性在后续版本中持续有效，不再重复列出。
各引擎版本支持情况
AI DataLake当前提供的各引擎版本配套关系和特性说明如表1所示。
多模数据引擎Aura 3.9.0版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| Catalog SDK（UDF SDK） | 对LakeFormation与OBS的REST API进行封装，用于简化UDF的注册与管理开发，满足UDF管理和使用分离的场景。 | |
| UDF相关特性 |
| |
| AuraJobV2作业能力提升 |
| |
| 查询优化 |
| |
| 镜像 | 创建AuraJobV2端点时支持配置镜像快照，缩短镜像拉取与容器启动时间。 | |
| 端点监控 | AuraJobV2支持配置监控指标的告警规则。 | |
| 数据湖存储集成 | Iceberg表支持带时区的时间戳类型Timestamp with Timezone。 | |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 端点资源监控 | 支持配置端点资源监控和告警规则，对接自定义AOM实例。 | |
| 作业监控 | 支持配置作业监控与告警规则，对接自定义AOM实例。 | |
| 作业管理 | AuraJob作业支持设置调度优先级，高优先级作业优先获得计算资源。 |
AI计算引擎Ray 2.54.0版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 联邦集群与大规模算力调度 | 支持Ray联邦类型端点，可纳管多集群并实现负载均衡调度与排队，满足千卡万核规模的大算力需求。 | |
| 智能调度，提升智算卡资源利用率 | 支持Task与Actor自动装箱调度策略，将任务与计算资源更合理地匹配，减少资源闲置，提升智算卡的利用效率。 | |
| 镜像加速 | 使用API连接RayJob端点提交作业时，如果所选镜像版本已创建镜像快照，选择该版本镜像时会自动关联对应的镜像快照，缩短镜像拉取时间。 | |
| 提供纯CPU镜像与融合镜像 | 将原有的CPU&NPU&GPU融合大镜像拆分为纯CPU镜像与融合镜像两种形态，使CPU场景无需拉取GPU/NPU依赖，从而减小镜像体积、加快拉取与启动速度，提升资源利用率与任务部署效率。 | |
| 原生Ray API兼容，零代码迁移 | 提供与开源Ray 2.54.0版本完全一致的API接口和行为语义，用户无需修改任何业务代码或工作流，即可将现有Ray应用无缝迁移至AI DataLake平台。 | _ |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
批处理引擎Spark 4.0.2版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 支持配置运维人员访问授权 | 开启授权后运维人员可在您设置的有效期内查看您端点的作业日志、SparkUI。 | |
| 聚合优化 | 支持Spark聚合优化，自动缓解数据倾斜，并提供最佳实践指导，提升大规模作业执行性能。 | |
| 端点资源监控&作业监控 | Spark支持配置端点资源监控、作业监控与告警，对接自定义AOM实例。 | |
| 镜像加速 | 创建Spark端点时支持配置镜像快照，缩短镜像拉取与容器启动时间。 | |
| 原生兼容 | 提供与开源Spark 4.0.2版本部分兼容的API接口和行为语义。 | |
| 数据湖存储集成 | 支持Paimon数据格式，扩展了Spark支持的数据湖生态。 | _ |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
流处理引擎Flink 1.20.0版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 支持的连接器 |
| _ |
| 作业自动调优 | 支持Flink作业算子并行度按作业负载动态扩缩容。基于实时指标（吞吐量、背压、CPU 利用率）自动调整算子并行度，无需人工干预。 | |
| 端点管理 |
| |
| 作业委托凭据 | Flink作业运行时通过委托凭据自动获取临时访问凭证，用于访问OBS、LakeFormation等云服务。作业配置中无需明文保存 AK/SK，避免凭据泄露风险，提升作业访问云服务的安全性。 | |
| 隐私变量对接DEW | Flink作业通过隐私变量引用敏感配置（如数据库密码、访问密钥等），真实值安全保存于DEW。作业运行时安全获取敏感配置，敏感信息不出现于作业配置、代码与日志中，避免明文暴露，保障配置安全。 | |
| 端点资源监控&作业监控 | Flink支持配置端点资源监控、作业监控与告警，对接自定义AOM实例。 | |
| 镜像 |
| |
| 原生Flink兼容 | 提供与开源Flink 1.20版本兼容的API接口和行为语义。 | _ |
| 数据湖存储集成 | 支持对Iceberg、Paimon格式元数据的管理能力，扩展了Flink支持的数据湖生态。 | |
| 支持Multi Join | Flink SQL多表Join场景下，默认多个Join逐个执行、每个产生独立中间状态，关联表较多时中间状态大量累积，占用存储资源并降低作业性能。FlinkSQL支持Multi Join，可将多个Join操作合并为一个Multi Join算子，有效减少中间状态，提升宽表实时加工性能。 | _ |
| 维表Join | Flink On Iceberg支持将实时流数据与存储在Iceberg中的静态维度数据进行关联，补齐流记录的数据，实现实时流与维表的关联查询。 | |
| 支持VARIANT类型 | Flink写Iceberg时支持VARIANT数据类型，可处理动态变化和嵌套的半结构化数据，扩展对复杂数据结构的支持。 | _ |
| Lookup Join语法简 | 使用FOR SYSTEM_TIME AS OF PROCTIME()，表中无需再定义proc_time字段，且子查询同样适用。 | _ |
| JSON_VALUE函数性能优化 | 内置JSON_VALUE函数解析一个JSON item的多个字段时，复用上次JSON item 的解析结果，提升算子性能。 | _ |
| Kafka、upsert-kafka Connector支持限流读 | 支持在使用FlinkSQL的Kafka、upsert-kafka Connector消费数据时进行限流，控制消费速率。 | _ |
| 增强函数 | FlinkSQL支持以下增强函数：
| _ |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
