更新时间:2024-12-25 GMT+08:00
Hudi开发规范概述
范围
本节内容介绍DLI-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则,适用于Hudi开发场景的表的设计、管理与作业开发。
主要包括以下方面的规范:
- 数据表设计
- 资源配置
- 性能调优
- 常见故障处理
- 常用参数配置
术语约定
本规范采用以下的术语描述:
- 规则:编程时强制必须遵守的原则。
- 建议:编程时必须加以考虑的原则。
- 说明:对此规则或建议进行的解释。
- 示例:对此规则或建议从正、反两个方面给出。
适用范围
- 基于DLI-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。
- 该设计开发规范是基于Spark 3.3.1,Hudi 0.11.0版本。
父主题: DLI Hudi开发规范