更新时间:2024-07-02 GMT+08:00
写入更新数据时报错UnsupportedOperationException
问题
数据写入时报错:
java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter
回答
因为schema演进以非向后兼容的方式进行,此错误将再次发生。基本上,如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。
对于此类错误,请从源头数据采集的位置进行有效的数据类型转换。
父主题: Hudi故障处理