更新时间:2024-07-19 GMT+08:00

写入更新数据时报错SchemaCompatabilityException

问题

数据写入时报错:

org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record <record> against schema <schema>at org.apache.hudi.common.util.HoodieAvroUtils.rewrite(HoodieAvroUtils.java:215)

回答

如果schema包含non-nullable字段但是值是不存在或者null,则可能会发生这种情况。

建议以使用向后兼容的演进schema。本质上,这意味着要么将每个新添加的字段设置为空值,要么为每个新字段设置为默认值。从Hudi版本0.5.1起,如果依赖字段的默认值,则该故障处理对此无效。