写入更新数据时报错SchemaCompatabilityException

问题

数据写入时报错：

org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record <record> against schema <schema>at org.apache.hudi.common.util.HoodieAvroUtils.rewrite(HoodieAvroUtils.java:215)

回答

如果schema包含non-nullable字段但是值是不存在或者null，则可能会发生这种情况。

建议以使用向后兼容的演进schema。本质上，这意味着要么将每个新添加的字段设置为空值，要么为每个新字段设置为默认值。从Hudi版本0.5.1起，如果依赖字段的默认值，则该故障处理对此无效。