Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
问题描述
读Hudi作业字段映射多了一列col,作业执行失败。
原因分析
使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。
解决方案
字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读Hudi作业字段映射多了一列col,作业执行失败。
使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。
字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。