更新时间:2024-07-24 GMT+08:00
读取Hudi数据概述
Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。
Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。
查询引擎 |
实时视图/读优化视图 |
增量视图 |
---|---|---|
Hive |
Y |
Y |
Spark(SparkSQL) |
Y |
Y |
Spark(SparkDataSource API) |
Y |
Y |
HetuEngine |
Y |
N |
查询引擎 |
实时视图 |
增量视图 |
读优化视图 |
---|---|---|---|
Hive |
Y |
Y |
Y |
Spark(SparkSQL) |
Y |
Y |
Y |
Spark(SparkDataSource API) |
Y |
Y |
Y |
HetuEngine |
Y |
N |
Y |
- 当前Hudi使用Spark datasource接口读取时,不支持分区推断能力。比如bootstrap表使用datasource接口查询时,可能出现分区字段不显示,或者显示为null的情况。
- 增量视图,需设置set hoodie.hudicow.consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。
父主题: Hudi读操作