更新时间:2022-12-14 GMT+08:00

使用约束

Hudi 0.9.0增加了对使用Spark SQL操作Hudi的DDL/DML的语法支持,使得所有用户(非工程师、分析师等)更容易访问和操作Hudi。

约束

  • 支持在Hudi客户端执行Spark SQL操作Hudi。
  • 支持在Spark2x的JDBCServer中执行Spark SQL操作Hudi。
  • 不支持在Spark2x的客户端执行Spark SQL操作Hudi。
  • 不支持在Hive、Hetu引擎中操作Hudi。
  • 由于SQL的KeyGenerator默认是org.apache.hudi.keygen.ComplexKeyGenerator,要求DataSource方式写入时KeyGenerator与SQL设置的一致。
  • 首次执行Show Partitions命令,需要按照提示手动执行msck repair命令。
  • Spark SQL不支持增量视图查询。
  • 不支持ALTER CHANGE DATA TYPE操作。
  • DataSource方式创建COW表,如需使用SQL方式增量写入,需要在SQL中执行ALTER TABLE table_name SET SERDEPROPERTIES(primaryKey='xx',preCombineField='xx')重置下该表的两个属性值;DataSource方式创建MOR表,如需使用SQL方式增量写入,需要使用SQL指定路径创建MOR表,路径设置为DataSource创建的MOR表的路径。