Hudi表使用约束

更新时间：2025-01-09 GMT+08:00

查看PDF

Hudi表类型

Copy On Write
写时复制表也简称COW表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。
- 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。
- 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。

Merge On Read

读时合并表也简称MOR表，使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。

优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。
缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。

表1 两种表类型的 trade-off
Trade-off	CopyOnWrite	MergeOnRead
Data Latency（数据时延）	高	低
Query Latency（查询时延）	低	高
Update cost (I/O)（更新时（I/O）开销）	高（重写整个parquet）	低
Parquet File Size（Parquet文件大小）	小（更新时（I/O）开销大）	大（更新时开销小）
Write Amplification（写放大）	高	低（取决于compaction策略）

Hudi表使用约束与限制

Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用DLI提供的元数据提交SparkSQL作业时，部分直接操作OBS路径的SQL语法暂不支持，详细说明请参考DLI Hudi SQL语法参考。
不支持在HetuEngine中写Hudi表，以及修改Hudi表结构，仅支持读Hudi表。
创建Hudi表时，必须且需要正确配置 primaryKey 和 preCombineField，否则存在数据最终表现与预期不一致的风险。
使用由DLI提供的元数据服务时，不支持创建DLI表，只支持创建OBS表，即必须通过LOCATION参数配置表路径。
使用由LakeFormation提供的元数据服务时，创建内表和外表均支持。需要注意：在DROP内表时，数据也会被同步删除。
在提交Spark SQL或Flink SQL作业时，无需手动配置Hudi的 hoodie.write.lock.provider 配置项，但在提交Spark jar作业时必须手动配置，请见 Hudi锁配置说明一节。

Hudi和队列计算引擎的版本对应关系为：

计算引擎	版本	Hudi版本
Spark	3.3.1	0.11.0
Flink	1.15	0.11.0
Hetu	2.1.0	0.11.0

如何判断队列支持的计算引擎版本：首先进入DLI的控制台界面，点击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询的队列，随后点击窗口底部的窗格，展开隐藏的队列详情页面，在支持版本即可查看可用的计算引擎版本。对于SQL队列，无法切换版本，查看默认版本即可判断当前使用的计算引擎版本。

父主题： Hudi表概述

上一篇：Hudi表概述

下一篇：Hudi查询类型

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消