文档首页/ 智能数据湖 AI DataLake/ 版本规划/ AI DataLake 26.10.0 版本说明
更新时间:2026-11-19 GMT+08:00
分享

AI DataLake 26.10.0 版本说明

本节内容介绍了AI DataLake 26.10.0版本中各引擎版本配套关系和特性说明。本文档仅列出该版本新增或变更的特性,历史版本已发布的特性在后续版本中持续有效,不再重复列出。

各引擎版本支持情况

AI DataLake当前提供的各引擎版本配套关系和特性说明如表1所示。

表1 各引擎版本支持情况

引擎

版本

版本特性说明

多模数据引擎Aura

3.9.1

多模数据引擎Aura 3.9.1版本特性说明

AI计算引擎Ray

2.54.0

AI计算引擎Ray 2.54.0版本特性说明

批处理引擎Spark

4.0.2

批处理引擎Spark 4.0.2版本特性说明

流处理引擎Flink

1.20.0

流处理引擎Flink 1.20.0版本特性说明

多模数据引擎Aura 3.9.1版本特性说明

表2 多模数据引擎AuraJobV2版本特性说明

主要功能/特性

说明

相关文档

客户端接入管理

支持通过JDBC连接AuraJobV2端点并提交作业。

通过JDBC连接AuraJobV2端点并提交作业

优化作业提交排队机制

优化Aura作业提交排队机制,支持按端点配置排队作业下发策略,并支持作业会话状态保持。

连接Aura端点并提交作业

端点资源监控与告警

AuraJobV2支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。

AOM Prometheus监控

数据格式

  • 支持Images、Video、Audio多模格式读写。
  • 支持Lance
  • 支持Iceberg V3
  • 支持Parquet、CSV、TEXT多种开放文件格式读写。

_

生态配套

  • Python 3.10版本
  • Python 3.11版本
  • Iceberg 1.10.0版本
  • Arrow 17.0.0版本
  • Parquet 17.0.0版本
  • ORC 1.8.5版本

_

表3 多模数据引擎AuraJob版本特性说明

主要功能/特性

说明

相关文档

端点运行状态监控

完善控制台监控指标,便于全面查看端点运行状态。

查看Aura端点资源监控

查看Aura作业监控

端点资源监控与告警

上报AOM的部分指标提供默认告警及告警处理建议。

AOM Prometheus监控-Aura端点资源和作业指标

AI计算引擎Ray 2.54.0版本特性说明

表4 AI计算引擎Ray版本特性说明

主要功能/特性

说明

相关文档

支持设置作业优先级

支持设置Ray作业优先级,支持在提交作业时指定作业优先级。

设置Ray作业优先级

创建Ray端点时自定义配置Ray参数

支持以key=value方式键入,按场景配置弹性、稳定性与调度参数:

  • 支持配置内存溢出数据自动写入SFS Turbo挂载目录。
  • 支持配置内存压力感知调度。
  • 动态迁移与节点整合,低利用率节点排空或整合或退服收缩算力。

创建Ray引擎端点

支持配置运维人员访问授权

开启授权后运维人员可在您设置的有效期内查看您端点的作业日志、Ray UI。

配置运维人员访问授权

支持配置作业级断点续作

启用后,数据处理作业失败时已完成部分的结果得以保留;重新提交后,系统自动跳过已完成的数据、仅处理剩余数据,避免从头重跑造成的计算资源浪费。

设置Ray作业断点续作

镜像

支持注册企业版SWR镜像仓库的自定义镜像。

自定义镜像

原生Ray API兼容,零代码迁移

提供与开源Ray 2.54.0版本完全一致的API接口和行为语义,用户无需修改任何业务代码或工作流,即可将现有Ray应用无缝迁移至AI DataLake平台。

_

数据格式

  • 支持Images、WebDataset多模态数据读、写,支持Audio、TEXT、BINARY多模态数据读取。
  • 支持CSV、JSON、JSONL、Parquet、Numpy数据读、写。

_

生态配套

  • Python 3.10版本
  • Python 3.11版本

_

批处理引擎Spark 4.0.2版本特性说明

表5 批处理引擎Spark版本特性说明

主要功能/特性

说明

相关文档

支持通过Spark Connect提交作业

支持通过Spark Connect协议连接Spark端点并提交、调试Spark作业。

通过Spark Connect提交作业

支持设置作业优先级

支持设置Spark作业优先级,支持在提交作业时指定作业优先级。

设置Spark作业优先级

支持设置SparkSQL隔离级别

通过设置隔离级别,可将不同用户、项目或流水线的作业分配到各自独立的Spark集群运行,避免互相干扰。

设置SparkSQL隔离级别

支持在控制台查看作业归档日志

支持在控制台内直接查看Spark作业归档到OBS的日志内容,无需跳转OBS控制台即可浏览归档日志文件,提升日志排障效率。

查看作业归档日志

支持查看历史作业的Spark UI

Serverless架构下作业结束后计算实例即释放,Spark UI随之消失。Spark History Server通过重放作业eventLog保留Web UI,便于作业复盘、性能瓶颈分析与资源调优。

查看Spark UI

Spark UI支持共享链接访问

支持将单个作业的Spark UI以共享链接形式分享给无平台账号的现场运维人员。接收方无需登录、无需平台权限,在浏览器中打开即可只读浏览作业视图、阶段视图与SQL执行详情,并可下载作业日志,便于跨团队协同定位问题。

通过共享链接查看Spark UI

Spark作业级资源用量及CU时统计

支持在作业历史页面查看Spark作业级资源用量及CU时统计,用于度量与核算计算资源消耗。

查看作业运行历史

端点资源监控与告警

支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。

AOM Prometheus监控

镜像

支持注册企业版SWR镜像仓库的自定义镜像。

自定义镜像

网络接入

支持端点网络接入的访问控制。

  • 通过创建VPCEP Client打通客户端与AI DataLake服务内网的专用网络通道,实现直连链路,一个工作空间下所有端点共用。
  • 端点开启SSL双向认证,连接时客户端证书与服务端证书双向身份互验,实现访问控制与加密传输,防窃听、防篡改、防伪造。

网络接入

原生兼容

提供与开源Spark 4.0.2版本部分兼容的API接口和行为语义。

Spark语法参考

数据格式

  • 支持Iceberg V3
  • 支持Paimon
  • 支持Parquet、CSV、TEXT传统湖仓格式读写。

_

生态配套

  • Python 3.9版本
  • JDK 21版本
  • Scala 2.13版本
  • Iceberg 1.10.0版本
  • Paimon 1.2.0版本

_

流处理引擎Flink 1.20.0版本特性说明

表6 流处理引擎Flink版本特性说明

主要功能/特性

说明

相关文档

连接器

支持Hive Catalog连接,对接LakeFormation完成鉴权,并支持Hive UDF注册使用;便于复用Hive生态的元数据与函数资产,实现湖仓数据互通。

Hive连接器

支持Flink SQL Gateway提交作业

Flink SQL Gateway提供交互式SQL网关能力,允许客户端通过网关接口提交流查询/DML作业并获取运行结果,简化作业提交与调试方式,适配远程声明式开发场景。

通过Flink SQL Gateway提交作业

支持在Flink作业中使用Python UDF

支持在Flink JAR作业和Flink SQL作业中加载并使用Python依赖与离线模型,通过Python UDF在作业中调用,实现实时推理、个性化计算等业务逻辑。

  • Flink SQL作业:通过CREATE FUNCTION ... LANGUAGE PYTHON在SQL脚本中注册UDF。
  • Flink JAR作业:由客户JAR代码自行使用Table API或SQL注册UDF。

在Flink作业中使用Python UDF

查看作业归档日志

支持在控制台内直接查看Flink作业归档到OBS的日志内容,无需跳转OBS控制台即可浏览归档日志文件。

查看作业归档日志

配置Flink作业失败告警

配置作业失败告警后,作业失败时平台通过短信、邮件、站内信第一时间通知您,帮助您在分钟级发现作业异常、及时处理恢复,缩短业务中断时间,无需人工定时巡检作业状态。

配置Flink作业失败告警

端点资源监控与告警

支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。

AOM Prometheus监控

镜像

支持注册企业版SWR镜像仓库的自定义镜像。

自定义镜像

网络接入

支持端点网络接入的访问控制。

  • 通过创建VPCEP Client打通客户端与AI DataLake服务内网的专用网络通道,直连链路,一个工作空间下所有端点共用。
  • 端点开启SSL双向认证,连接时客户端证书与服务端证书双向身份互验,实现访问控制与加密传输,防窃听、防篡改、防伪造。

网络接入

数据格式

  • 支持Iceberg V3(Iceberg V3仅支持append写入,不支持upsert写入)
  • 支持Paimon
  • 支持Parquet、CSV、TEXT、ORC传统湖仓格式读写。

_

生态配套

  • Python 3.9版本
  • JDK 21版本
  • Scala 2.12版本
  • Iceberg 1.10.0版本
  • Paimon 1.2.0版本

_

相关文档