AI DataLake 26.10.0 版本说明
本节内容介绍了AI DataLake 26.10.0版本中各引擎版本配套关系和特性说明。本文档仅列出该版本新增或变更的特性,历史版本已发布的特性在后续版本中持续有效,不再重复列出。
各引擎版本支持情况
AI DataLake当前提供的各引擎版本配套关系和特性说明如表1所示。
| 引擎 | 版本 | 版本特性说明 |
|---|---|---|
| 多模数据引擎Aura | 3.9.1 | |
| AI计算引擎Ray | 2.54.0 | |
| 批处理引擎Spark | 4.0.2 | |
| 流处理引擎Flink | 1.20.0 |
多模数据引擎Aura 3.9.1版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 客户端接入管理 | 支持通过JDBC连接AuraJobV2端点并提交作业。 | |
| 优化作业提交排队机制 | 优化Aura作业提交排队机制,支持按端点配置排队作业下发策略,并支持作业会话状态保持。 | |
| 端点资源监控与告警 | AuraJobV2支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。 | |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 端点运行状态监控 | 完善控制台监控指标,便于全面查看端点运行状态。 | |
| 端点资源监控与告警 | 上报AOM的部分指标提供默认告警及告警处理建议。 |
AI计算引擎Ray 2.54.0版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 支持设置作业优先级 | 支持设置Ray作业优先级,支持在提交作业时指定作业优先级。 | |
| 创建Ray端点时自定义配置Ray参数 | 支持以key=value方式键入,按场景配置弹性、稳定性与调度参数:
| |
| 支持配置运维人员访问授权 | 开启授权后运维人员可在您设置的有效期内查看您端点的作业日志、Ray UI。 | |
| 支持配置作业级断点续作 | 启用后,数据处理作业失败时已完成部分的结果得以保留;重新提交后,系统自动跳过已完成的数据、仅处理剩余数据,避免从头重跑造成的计算资源浪费。 | |
| 镜像 | 支持注册企业版SWR镜像仓库的自定义镜像。 | |
| 原生Ray API兼容,零代码迁移 | 提供与开源Ray 2.54.0版本完全一致的API接口和行为语义,用户无需修改任何业务代码或工作流,即可将现有Ray应用无缝迁移至AI DataLake平台。 | _ |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
批处理引擎Spark 4.0.2版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 支持通过Spark Connect提交作业 | 支持通过Spark Connect协议连接Spark端点并提交、调试Spark作业。 | |
| 支持设置作业优先级 | 支持设置Spark作业优先级,支持在提交作业时指定作业优先级。 | |
| 支持设置SparkSQL隔离级别 | 通过设置隔离级别,可将不同用户、项目或流水线的作业分配到各自独立的Spark集群运行,避免互相干扰。 | |
| 支持在控制台查看作业归档日志 | 支持在控制台内直接查看Spark作业归档到OBS的日志内容,无需跳转OBS控制台即可浏览归档日志文件,提升日志排障效率。 | |
| 支持查看历史作业的Spark UI | Serverless架构下作业结束后计算实例即释放,Spark UI随之消失。Spark History Server通过重放作业eventLog保留Web UI,便于作业复盘、性能瓶颈分析与资源调优。 | |
| Spark UI支持共享链接访问 | 支持将单个作业的Spark UI以共享链接形式分享给无平台账号的现场运维人员。接收方无需登录、无需平台权限,在浏览器中打开即可只读浏览作业视图、阶段视图与SQL执行详情,并可下载作业日志,便于跨团队协同定位问题。 | |
| Spark作业级资源用量及CU时统计 | 支持在作业历史页面查看Spark作业级资源用量及CU时统计,用于度量与核算计算资源消耗。 | |
| 端点资源监控与告警 | 支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。 | |
| 镜像 | 支持注册企业版SWR镜像仓库的自定义镜像。 | |
| 网络接入 | 支持端点网络接入的访问控制。
| |
| 原生兼容 | 提供与开源Spark 4.0.2版本部分兼容的API接口和行为语义。 | |
| 数据格式 |
| _ |
| 生态配套 |
| _ |
流处理引擎Flink 1.20.0版本特性说明
| 主要功能/特性 | 说明 | 相关文档 |
|---|---|---|
| 连接器 | 支持Hive Catalog连接,对接LakeFormation完成鉴权,并支持Hive UDF注册使用;便于复用Hive生态的元数据与函数资产,实现湖仓数据互通。 | |
| 支持Flink SQL Gateway提交作业 | Flink SQL Gateway提供交互式SQL网关能力,允许客户端通过网关接口提交流查询/DML作业并获取运行结果,简化作业提交与调试方式,适配远程声明式开发场景。 | |
| 支持在Flink作业中使用Python UDF | 支持在Flink JAR作业和Flink SQL作业中加载并使用Python依赖与离线模型,通过Python UDF在作业中调用,实现实时推理、个性化计算等业务逻辑。
| |
| 查看作业归档日志 | 支持在控制台内直接查看Flink作业归档到OBS的日志内容,无需跳转OBS控制台即可浏览归档日志文件。 | |
| 配置Flink作业失败告警 | 配置作业失败告警后,作业失败时平台通过短信、邮件、站内信第一时间通知您,帮助您在分钟级发现作业异常、及时处理恢复,缩短业务中断时间,无需人工定时巡检作业状态。 | |
| 端点资源监控与告警 | 支持配置AOM监控指标的告警,系统提供默认告警,无需额外配置即可对端点资源与作业状态进行告警。 | |
| 镜像 | 支持注册企业版SWR镜像仓库的自定义镜像。 | |
| 网络接入 | 支持端点网络接入的访问控制。
| |
| 数据格式 |
| _ |
| 生态配套 |
| _ |