更新时间:2024-11-12 GMT+08:00
Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
问题描述
读Hudi作业字段映射多了一列col,作业执行失败。

原因分析
使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。

解决方案
字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。
父主题: 故障处理类
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读Hudi作业字段映射多了一列col,作业执行失败。

使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。

字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。