AI DataLake SDK简介
AI DataLake SDK简介
AI DataLake为开发者提供多种类型的SDK，用于简化与AI DataLake服务的集成开发。开发者无需关注底层REST API的调用细节，即可通过SDK完成作业提交、数据查询、自定义函数开发等操作。
本文档按语言分类SDK，您可以根据业务实际的技术栈直接定位对应SDK。
如果您需要了解SDK的隐私数据处理策略，请参见华为云SDK隐私声明。
SDK语言分布
| 语言 | SDK | 适用引擎 | 适用场景 | 帮助文档 |
|---|---|---|---|---|
| Python | UDF SDK | Aura | 自定义函数（UDF/UDAF/UDTF）注册与管理，多引擎复用 | |
| Python | Aura DataFrame SDK | Aura（AuraJobV2） | Python/Notebook交互式数据处理、多模态数据开发 |
SDK体系结构
AI DataLake 的 SDK 体系由引擎专属SDK和跨引擎共享SDK构成：
- 引擎专属SDK：各引擎自研SDK（Aura DataFrame SDK）。
- 跨引擎共享SDK：用于将UDF注册至LakeFormation，多引擎复用（UDF SDK）。
AI DataLake适用UDF场景的SDK
| 类型 | 说明 |
|---|---|
| 适用引擎 | 当前支持 Aura |
| 适用场景 | 自定义函数（UDF/UDAF/UDTF）的一次开发、多引擎复用 |
| 实现机制 | 函数代码与元数据统一存储在 LakeFormation，各引擎通过元数据服务发现并调用 |
| 核心能力 | 函数注册（create_udf/create_udtf/create_udaf）、查询、删除、Data-Juicer算子适配 |
引擎专属SDK
Aura引擎的专属SDK，基于通用SDK或REST API进行二次封装，更贴近各引擎的使用方式，简化开发流程。
| SDK | 语言 | 适用端点类型 | 适用场景 | 核心特性 | SDK参考 |
|---|---|---|---|---|---|
| Aura DataFrame SDK | Python | AuraJobV2 | Python/Notebook交互式数据处理、多模态数据开发 | 类Pandas的DataFrame API，结果直接返回Pandas DataFrame。 支持多模态数据类型（图片、视频、音频、向量）。 支持Python UDF全套能力（Scalar UDF、Class UDF、Vectorized UDF、UDTF、UDAF）。 支持算子级资源规格配置、亲和调度策略和性能观测。 |
