更新时间:2022-12-14 GMT+08:00

写入更新数据时报错UnsupportedOperationException

问题

数据写入时报错:

java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

回答

因为schema演进以非向后兼容的方式进行,此错误将再次发生。基本上,如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。

对于此类错误,请从源头数据采集的位置进行有效的数据类型转换。