文档首页/ 云数据迁移 CDM/ 常见问题/ 故障处理类/ 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?
更新时间:2024-11-21 GMT+08:00
分享

当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?

问题描述

当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。

解决方案

  1. 执行如下spark-sql语句修改hoodie.properties文件信息。

    call update_hoodie_properties(table=>'$tableName', property=>'hoodie.table.partition.fields', value=>'name')

  2. 执行如下spark-sql语句修改表属性信息。

    alter table $tableName set tblproperties('hoodie.datasource.write.partitionpath.field' = '$partionName1, $partionName12');

相关文档