文档首页/ 云数据迁移 CDM/ 常见问题/ 故障处理类/ Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
更新时间:2024-11-12 GMT+08:00
分享

Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?

问题描述

读Hudi作业字段映射多了一列col,作业执行失败。

原因分析

使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。

解决方案

字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。

相关文档