AI DataLake SDK简介
AI DataLake SDK简介
AI DataLake为开发者提供多种类型的SDK,用于简化与AI DataLake服务的集成开发。开发者无需关注底层REST API的调用细节,即可通过SDK完成作业提交、数据查询、自定义函数开发等操作。
AI DataLake的SDK按语言分为Python SDK与Java SDK两大类,覆盖 Aura、Ray、Spark 等计算引擎的各类作业场景。
本文档按语言分类SDK,您可以根据业务实际的技术栈直接定位对应SDK。
如果您需要了解SDK的隐私数据处理策略,请参见华为云SDK隐私声明。
SDK语言分布
| 语言 | SDK | 适用引擎 | 适用场景 | 帮助文档 |
|---|---|---|---|---|
| Python | UDF SDK | Aura(AuraJobV2) | 自定义函数(UDF/UDAF/UDTF)注册与管理,多引擎复用 | |
| Python | Aura DataFrame SDK | Aura(AuraJobV2) | Python/Notebook交互式数据处理、多模态数据开发 | |
| Python | Ray SDK | Ray(RayCluster、RayJob) | Ray作业的提交与管理 | |
| Python | Spark SDK(Python) | Spark(Spark SQL、Spark Job) | Spark SQL查询、Spark批处理作业提交 | |
| Java | Spark SDK(Java) | Spark(Spark SQL、Spark Job) | Spark SQL查询、Spark批处理作业提交、库表元数据查询 |
SDK体系结构
AI DataLake 的 SDK 体系由引擎专属SDK和跨引擎共享SDK三层构成:
- 引擎专属SDK:各引擎自研SDK(Aura DataFrame SDK、Ray SDK、Spark SDK)。
- 跨引擎共享SDK:用于将UDF注册至LakeFormation,多引擎复用(UDF SDK)。
AI DataLake适用UDF场景的SDK
| 类型 | 说明 |
|---|---|
| 适用引擎 | 当前支持 Aura |
| 适用场景 | 自定义函数(UDF/UDAF/UDTF)的一次开发、多引擎复用 |
| 实现机制 | 函数代码与元数据统一存储在 LakeFormation,各引擎通过元数据服务发现并调用 |
| 核心能力 | 函数注册(create_udf/create_udtf/create_udaf)、查询、删除、Data-Juicer算子适配 |
各引擎专属SDK
Aura、Ray、Spark引擎的专属SDK,基于通用SDK或REST API进行二次封装,更贴近各引擎的使用方式,简化开发流程。
| SDK | 语言 | 适用端点类型 | 适用场景 | 核心特性 | SDK参考 |
|---|---|---|---|---|---|
| Aura DataFrame SDK | Python | AuraJobV2 | Python/Notebook交互式数据处理、多模态数据开发 | 类Pandas的DataFrame API,结果直接返回Pandas DataFrame。 支持多模态数据类型(图片、视频、音频、向量)。 支持Python UDF全套能力(Scalar UDF、Class UDF、Vectorized UDF、UDTF、UDAF)。 支持算子级资源规格配置、亲和调度策略和性能观测。 | |
| Ray SDK | Python | RayCluster、RayJob | Ray作业的提交与管理 | 以REST API为基础封装,支持运行作业、查询作业列表/详情、取消作业,覆盖Ray作业全生命周期。 | |
| Spark SDK | Java、Python | Spark SQL、Spark Job | 提交Spark SQL查询与Spark批处理作业 | Java版提供Spark SQL、Spark Job、元数据查询三类客户端。 Python版提供统一客户端与Builder链式作业构建,支持Jar/SqlScripting等作业类型。 |
更多连接方式
除SDK外,AI DataLake 还提供以下连接方式。SDK与连接方式的区别在于:SDK提供编程接口封装,适合应用集成开发;以下方式用于特定工具或协议场景:
| 连接方式 | 适用引擎 | 适用场景 |
|---|---|---|
| JDBC | Aura、Spark | BI工具对接、Java应用开发、即席查询 |
| Spark Connect | Spark | Notebook交互式开发、PySpark脚本对接 |
| REST API | 全部引擎 | 自动化作业提交、应用集成 |
| DataArts Studio | Aura | 可视化作业编排、生产环境调度 |