Hudi SQL使用约束
Hudi支持使用Spark SQL操作Hudi的DDL(数据定义语言)和DML(数据操作语言)语法,这使得所有用户(非工程师、分析师等)都能更轻松地访问和操作 Hudi。通过这种集成,用户可以利用熟悉的 SQL 语法来执行各种数据管理和操作任务,而无需深入了解复杂的底层技术细节。
约束与限制
- 支持在Hudi客户端执行Spark SQL操作Hudi。
- 支持在Spark2x的JDBCServer中执行Spark SQL操作Hudi。
- 不支持在Spark2x的客户端执行Spark SQL操作Hudi,支持在Spark3.1.1及之后版本的客户端执行Spark SQL操作Hudi。
- 不支持在Hive、Hetu引擎中写Hudi表,以及修改Hudi表结构,仅支持读。
- 由于SQL的KeyGenerator默认是org.apache.hudi.keygen.ComplexKeyGenerator,要求DataSource方式写入时KeyGenerator与SQL设置的一致。