# AI DataLake 26.10.0 版本说明
本节内容介绍了AI DataLake 26.10.0版本中各引擎版本配套关系和特性说明。本文档仅列出该版本新增或变更的特性，历史版本已发布的特性在后续版本中持续有效，不再重复列出。
#### 各引擎版本支持情况
AI DataLake当前提供的各引擎版本配套关系和特性说明如[表1](https://support.huaweicloud.com/verspt-bulletin-aidatalake/aidatalake_bulletin_0003.html#ZH-CN_TOPIC_0000002776381543__table1114517395209)所示。
表1各引擎版本支持情况 
| 引擎          | 版本       | 版本特性说明                                                                            |
|:---|:---|:---|
| 多模数据引擎Aura  | 3.9.1   | [多模数据引擎Aura 3.9.1版本特性说明]  |
| AI计算引擎Ray   | 2.54.0 | [AI计算引擎Ray 2.54.0版本特性说明]  |
| 批处理引擎Spark | 4.0.2    | [批处理引擎Spark 4.0.2版本特性说明]  |
| 流处理引擎Flink | 1.20.0   | [流处理引擎Flink 1.20.0版本特性说明] |
   
 #### 多模数据引擎Aura 3.9.1版本特性说明
表2多模数据引擎AuraJobV2版本特性说明 
| 主要功能/特性   | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | 相关文档                                                                                                         |
|:---|:---|:---|
| 客户端接入管理    | 支持通过JDBC连接AuraJobV2端点并提交作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | [通过JDBC连接AuraJobV2端点并提交作业](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0116.html) |
| 优化作业提交排队机制 | 优化Aura作业提交排队机制，支持按端点配置排队作业下发策略，并支持作业会话状态保持。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | [连接Aura端点并提交作业](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0110.html)              |
| 端点资源监控与告警   | AuraJobV2支持配置AOM监控指标的告警，系统提供默认告警，无需额外配置即可对端点资源与作业状态进行告警。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | [AOM Prometheus监控](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0120.html)           |
| 数据格式         | - 支持Images、Video、Audio多模格式读写。  - 支持Lance  - 支持Iceberg V3  - 支持Parquet、CSV、TEXT多种开放文件格式读写。                                                                                                                                                                                                                                 | _                                                                                                            |
| 生态配套       | - Python 3.10版本  - Python 3.11版本  - Iceberg 1.10.0版本  - Arrow 17.0.0版本  - Parquet 17.0.0版本  - ORC 1.8.5版本   | _                                                                                                           |
   
表3多模数据引擎AuraJob版本特性说明 
| 主要功能/特性    | 说明                         | 相关文档                                                                                                                                                                                                                                       |
|:---|:---|:---|
| 端点运行状态监控    | 完善控制台监控指标，便于全面查看端点运行状态。  | [查看Aura端点资源监控](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0075.html) [查看Aura作业监控](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0082.html) |
| 端点资源监控与告警 | 上报AOM的部分指标提供默认告警及告警处理建议。 | [AOM Prometheus监控-Aura端点资源和作业指标](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0119.html)                                                                                                                         |
   
 #### AI计算引擎Ray 2.54.0版本特性说明
表4AI计算引擎Ray版本特性说明 
| 主要功能/特性          | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                          | 相关文档                                                                                          |
|:---|:---|:---|
| 支持设置作业优先级         | 支持设置Ray作业优先级，支持在提交作业时指定作业优先级。                                                                                                                                                                                                                                                                                                                                                                                                                               | [设置Ray作业优先级](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0068.html)    |
| 创建Ray端点时自定义配置Ray参数 | 支持以key=value方式键入，按场景配置弹性、稳定性与调度参数： - 支持配置内存溢出数据自动写入SFS Turbo挂载目录。  - 支持配置内存压力感知调度。  - 动态迁移与节点整合，低利用率节点排空或整合或退服收缩算力。   | [创建Ray引擎端点](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0073.html)   |
| 支持配置运维人员访问授权      | 开启授权后运维人员可在您设置的有效期内查看您端点的作业日志、Ray UI。                                                                                                                                                                                                                                                                                                                                                                                                                         | [配置运维人员访问授权](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0019.html) |
| 支持配置作业级断点续作        | 启用后，数据处理作业失败时已完成部分的结果得以保留；重新提交后，系统自动跳过已完成的数据、仅处理剩余数据，避免从头重跑造成的计算资源浪费。                                                                                                                                                                                                                                                                                                                                                                                       | [设置Ray作业断点续作](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0098.html)   |
| 镜像                | 支持注册企业版SWR镜像仓库的自定义镜像。                                                                                                                                                                                                                                                                                                                                                                                                                                       | [自定义镜像](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0059.html)         |
| 原生Ray API兼容，零代码迁移 | 提供与开源Ray 2.54.0版本完全一致的API接口和行为语义，用户无需修改任何业务代码或工作流，即可将现有Ray应用无缝迁移至AI DataLake平台。                                                                                                                                                                                                                                                                                                                                                                              | _                                                                                             |
| 数据格式               | - 支持Images、WebDataset多模态数据读、写，支持Audio、TEXT、BINARY多模态数据读取。  - 支持CSV、JSON、JSONL、Parquet、Numpy数据读、写。                                                                                                                                                            | _                                                                                            |
| 生态配套             | - Python 3.10版本  - Python 3.11版本                                                                                                                                                                                                                                  | _                                                                                            |
   
 #### 批处理引擎Spark 4.0.2版本特性说明
表5批处理引擎Spark版本特性说明 
| 主要功能/特性                | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | 相关文档                                                                                                |
|:---|:---|:---|
| 支持通过Spark Connect提交作业 | 支持通过Spark Connect协议连接Spark端点并提交、调试Spark作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | [通过Spark Connect提交作业](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0087.html) |
| 支持设置作业优先级           | 支持设置Spark作业优先级，支持在提交作业时指定作业优先级。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | [设置Spark作业优先级](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0164.html)       |
| 支持设置SparkSQL隔离级别     | 通过设置隔离级别，可将不同用户、项目或流水线的作业分配到各自独立的Spark集群运行，避免互相干扰。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | [设置SparkSQL隔离级别](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0165.html)     |
| 支持在控制台查看作业归档日志         | 支持在控制台内直接查看Spark作业归档到OBS的日志内容，无需跳转OBS控制台即可浏览归档日志文件，提升日志排障效率。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | [查看作业归档日志](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0161.html)          |
| 支持查看历史作业的Spark UI    | Serverless架构下作业结束后计算实例即释放，Spark UI随之消失。Spark History Server通过重放作业eventLog保留Web UI，便于作业复盘、性能瓶颈分析与资源调优。                                                                                                                                                                                                                                                                                                                                                                                                                                                               | [查看Spark UI](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0084.html)          |
| Spark UI支持共享链接访问     | 支持将单个作业的Spark UI以共享链接形式分享给无平台账号的现场运维人员。接收方无需登录、无需平台权限，在浏览器中打开即可只读浏览作业视图、阶段视图与SQL执行详情，并可下载作业日志，便于跨团队协同定位问题。                                                                                                                                                                                                                                                                                                                                                                                                                                                           | [通过共享链接查看Spark UI](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0163.html)   |
| Spark作业级资源用量及CU时统计   | 支持在作业历史页面查看Spark作业级资源用量及CU时统计，用于度量与核算计算资源消耗。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | [查看作业运行历史](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0055.html)           |
| 端点资源监控与告警              | 支持配置AOM监控指标的告警，系统提供默认告警，无需额外配置即可对端点资源与作业状态进行告警。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | [AOM Prometheus监控](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0120.html)   |
| 镜像                    | 支持注册企业版SWR镜像仓库的自定义镜像。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | [自定义镜像](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0059.html)             |
| 网络接入                 | 支持端点网络接入的访问控制。 - 通过创建**VPCEP Client**打通客户端与AI DataLake服务内网的专用网络通道，实现直连链路，一个工作空间下所有端点共用。  - 端点开启**SSL双向认证**，连接时客户端证书与服务端证书双向身份互验，实现访问控制与加密传输，防窃听、防篡改、防伪造。                                                                                                                                                                  | [网络接入](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0025.html)             |
| 原生兼容                   | 提供与开源Spark 4.0.2版本部分兼容的API接口和行为语义。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | [Spark语法参考](https://support.huaweicloud.com/sqlref-spark-aidatalake/aidatalake_063_0001.html)         |
| 数据格式                  | - 支持Iceberg V3  - 支持Paimon  - 支持Parquet、CSV、TEXT传统湖仓格式读写。                                                                                                                                                                                                       | _                                                                                                   |
| 生态配套                | - Python 3.9版本  - JDK 21版本  - Scala 2.13版本  - Iceberg 1.10.0版本  - Paimon 1.2.0版本   | _                                                                                                    |
   
 #### 流处理引擎Flink 1.20.0版本特性说明
表6流处理引擎Flink版本特性说明 
| 主要功能/特性                | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | 相关文档                                                                                                 |
|:---|:---|:---|
| 连接器                      | 支持Hive Catalog连接，对接LakeFormation完成鉴权，并支持Hive UDF注册使用；便于复用Hive生态的元数据与函数资产，实现湖仓数据互通。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | [Hive连接器](https://support.huaweicloud.com/sqlref-flink-aidatalake/aidatalake_11_0063.html)            |
| 支持Flink SQL Gateway提交作业 | Flink SQL Gateway提供交互式SQL网关能力，允许客户端通过网关接口提交流查询/DML作业并获取运行结果，简化作业提交与调试方式，适配远程声明式开发场景。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | [通过Flink SQL Gateway提交作业](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0160.html) |
| 支持在Flink作业中使用Python UDF | 支持在Flink JAR作业和Flink SQL作业中加载并使用Python依赖与离线模型，通过Python UDF在作业中调用，实现实时推理、个性化计算等业务逻辑。 - Flink SQL作业：通过CREATE FUNCTION ... LANGUAGE PYTHON在SQL脚本中注册UDF。  - Flink JAR作业：由客户JAR代码自行使用Table API或SQL注册UDF。                                                                                                                        | [在Flink作业中使用Python UDF](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0157.html)   |
| 查看作业归档日志             | 支持在控制台内直接查看Flink作业归档到OBS的日志内容，无需跳转OBS控制台即可浏览归档日志文件。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | [查看作业归档日志](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0161.html)                |
| 配置Flink作业失败告警           | 配置作业失败告警后，作业失败时平台通过短信、邮件、站内信第一时间通知您，帮助您在分钟级发现作业异常、及时处理恢复，缩短业务中断时间，无需人工定时巡检作业状态。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | [配置Flink作业失败告警](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0011.html)         |
| 端点资源监控与告警              | 支持配置AOM监控指标的告警，系统提供默认告警，无需额外配置即可对端点资源与作业状态进行告警。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | [AOM Prometheus监控](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0120.html)     |
| 镜像                    | 支持注册企业版SWR镜像仓库的自定义镜像。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | [自定义镜像](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0059.html)                |
| 网络接入                   | 支持端点网络接入的访问控制。 - 通过创建**VPCEP Client**打通客户端与AI DataLake服务内网的专用网络通道，直连链路，一个工作空间下所有端点共用。  - 端点开启**SSL双向认证**，连接时客户端证书与服务端证书双向身份互验，实现访问控制与加密传输，防窃听、防篡改、防伪造。                                                                                                                                                                    | [网络接入](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0025.html)                 |
| 数据格式                   | - 支持Iceberg V3（Iceberg V3仅支持append写入，不支持upsert写入）  - 支持Paimon  - 支持Parquet、CSV、TEXT、ORC传统湖仓格式读写。                                                                                                                                                               | _                                                                                                       |
| 生态配套                  | - Python 3.9版本  - JDK 21版本  - Scala 2.12版本  - Iceberg 1.10.0版本  - Paimon 1.2.0版本   | _                                                                                                     |
   
