更新时间:2024-07-02 GMT+08:00
写入更新数据时报错SchemaCompatabilityException
问题
数据写入时报错:
org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record <record> against schema <schema>at org.apache.hudi.common.util.HoodieAvroUtils.rewrite(HoodieAvroUtils.java:215)
回答
如果schema包含non-nullable字段但是值是不存在或者null,则可能会发生这种情况。
建议以使用向后兼容的演进schema。本质上,这意味着要么将每个新添加的字段设置为空值,要么为每个新字段设置为默认值。从Hudi版本0.5.1起,如果依赖字段的默认值,则该故障处理对此无效。
父主题: Hudi故障处理