更新时间:2024-05-28 GMT+08:00

Hudi SQL使用约束

Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法,使得所有用户(非工程师、分析师等)更容易访问和操作Hudi。

约束

  • 支持在Hudi客户端执行Spark SQL操作Hudi。
  • 支持在Spark2x的JDBCServer中执行Spark SQL操作Hudi。
  • 不支持在Spark2x的客户端执行Spark SQL操作Hudi,支持在Spark3.1.1及之后版本的客户端执行Spark SQL操作Hudi。
  • 不支持在Hive、Hetu引擎中写hudi表,以及修改hudi表结构,仅支持读。
  • 由于SQL的KeyGenerator默认是org.apache.hudi.keygen.ComplexKeyGenerator,要求DataSource方式写入时KeyGenerator与SQL设置的一致。