DLI到Hudi实时同步中，作业开启同步新增字段后，DLI SQL show create table无法查询到新增字段怎么办？

问题描述

实时作业在“配置DDL消息处理规则”时，将“新增列”设置为“正常处理”，源端新增字段f1，select * 查询数据能够查询到新增字段数据（图1），但show create table获取不到字段（图2）。

图1 DDL配置

图2 查询字段数据

图3 查询表结构

原因分析

Migration无法将新增字段的元数据信息同步到DLI的Catalog，需要配置DLI SQL周期执行元数据同步任务。

解决方案

用户需要手动执行Hive元数据同步，DLI SQL执行以下命令：

call sync_hive(table => 'db_name.table_name', tablePath => 'obs://xxxxx')

具体语法可以参考MRS相关文档：Hudi相关参数配置。

推荐客户在compaction脚本中同时也配置元数据同步命令，完成元数据的周期同步。

如何配置周期作业可以参考如何配置Hudi Compaction的Spark周期任务？。