Bulk Insert写入失败报LEGACY store assignment policy is disallowed in Spark data source V2

问题

使用Spark SQL以Bulk Insert方式执行数据写入，报错如下：

org.apache.spark.sql.AnalysisException: LEGACY store assignment policy is disallowed in Spark data source V2.Please set configuration spark.sql.storeAssignmentPolicy to other value.

回答

当前Hudi的Buck Insert使用Spark V2接口实现， Spark V2接口要求spark.sql.storeAssignmentPolicy不能为LEGACY模式。

解决方案：

执行API写入时添加设置如下option参数：

option("hoodie.datasource.write.row.writer.enable", "false")

执行SQL时设置参数：

set hoodie.datasource.write.row.writer.enable=false;