更新时间:2026-11-13 GMT+08:00
分享

AI DataLake SDK简介

AI DataLake SDK简介

AI DataLake为开发者提供多种类型的SDK,用于简化与AI DataLake服务的集成开发。开发者无需关注底层REST API的调用细节,即可通过SDK完成作业提交、数据查询、自定义函数开发等操作。

AI DataLake的SDK按语言分为Python SDK与Java SDK两大类,覆盖 Aura、Ray、Spark 等计算引擎的各类作业场景。

本文档按语言分类SDK,您可以根据业务实际的技术栈直接定位对应SDK。

如果您需要了解SDK的隐私数据处理策略,请参见华为云SDK隐私声明。

SDK语言分布

语言

SDK

适用引擎

适用场景

帮助文档

Python

UDF SDK

Aura(AuraJobV2)

自定义函数(UDF/UDAF/UDTF)注册与管理,多引擎复用

Catalog SDK

Python

Aura DataFrame SDK

Aura(AuraJobV2)

Python/Notebook交互式数据处理、多模态数据开发

Aura DataFrame SDK(Python)

Python

Ray SDK

Ray(RayCluster、RayJob)

Ray作业的提交与管理

Ray SDK(Python)

Python

Spark SDK(Python)

Spark(Spark SQL、Spark Job)

Spark SQL查询、Spark批处理作业提交

Spark SDK(Python)

Java

Spark SDK(Java)

Spark(Spark SQL、Spark Job)

Spark SQL查询、Spark批处理作业提交、库表元数据查询

Spark SDK(Java)

SDK体系结构

AI DataLake 的 SDK 体系由引擎专属SDK和跨引擎共享SDK三层构成:

  • 引擎专属SDK:各引擎自研SDK(Aura DataFrame SDK、Ray SDK、Spark SDK)。
  • 跨引擎共享SDK:用于将UDF注册至LakeFormation,多引擎复用(UDF SDK)。

AI DataLake适用UDF场景的SDK

AI DataLake 提供的UDF SDK用于自定义函数的跨引擎复用。开发者通过UDF SDK编写一次函数,将函数注册至LakeFormation元数据服务,即可被多个引擎识别和调用,避免在各引擎中重复开发函数。

类型

说明

适用引擎

当前支持 Aura

适用场景

自定义函数(UDF/UDAF/UDTF)的一次开发、多引擎复用

实现机制

函数代码与元数据统一存储在 LakeFormation,各引擎通过元数据服务发现并调用

核心能力

函数注册(create_udf/create_udtf/create_udaf)、查询、删除、Data-Juicer算子适配

各引擎专属SDK

Aura、Ray、Spark引擎的专属SDK,基于通用SDK或REST API进行二次封装,更贴近各引擎的使用方式,简化开发流程。

SDK

语言

适用端点类型

适用场景

核心特性

SDK参考

Aura DataFrame SDK

Python

AuraJobV2

Python/Notebook交互式数据处理、多模态数据开发

类Pandas的DataFrame API,结果直接返回Pandas DataFrame。

支持多模态数据类型(图片、视频、音频、向量)。

支持Python UDF全套能力(Scalar UDF、Class UDF、Vectorized UDF、UDTF、UDAF)。

支持算子级资源规格配置、亲和调度策略和性能观测。

Aura DataFrame SDK概述

Ray SDK

Python

RayCluster、RayJob

Ray作业的提交与管理

以REST API为基础封装,支持运行作业、查询作业列表/详情、取消作业,覆盖Ray作业全生命周期。

Ray SDK(Python)

Spark SDK

Java、Python

Spark SQL、Spark Job

提交Spark SQL查询与Spark批处理作业

Java版提供Spark SQL、Spark Job、元数据查询三类客户端。

Python版提供统一客户端与Builder链式作业构建,支持Jar/SqlScripting等作业类型。

Spark SDK(Python)

更多连接方式

除SDK外,AI DataLake 还提供以下连接方式。SDK与连接方式的区别在于:SDK提供编程接口封装,适合应用集成开发;以下方式用于特定工具或协议场景:

连接方式

适用引擎

适用场景

JDBC

Aura、Spark

BI工具对接、Java应用开发、即席查询

Spark Connect

Spark

Notebook交互式开发、PySpark脚本对接

REST API

全部引擎

自动化作业提交、应用集成

DataArts Studio

Aura

可视化作业编排、生产环境调度

相关文档