当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?
问题描述
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。
解决方案
- 执行如下spark-sql语句修改hoodie.properties文件信息。
call update_hoodie_properties(table=>'$tableName', property=>'hoodie.table.partition.fields', value=>'name')
- 执行如下spark-sql语句修改表属性信息。
alter table $tableName set tblproperties('hoodie.datasource.write.partitionpath.field' = '$partionName1, $partionName12');