更新时间:2023-02-06 GMT+08:00
作业配置添加字段,MongoDB字段映射存在问题
问题描述
CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。
故障分析
- 查看文档提示CDM通过获取样值的方式无法获得所有列。
- 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数,可以把非公共的列封装为一个列。
解决方案
- 使用MongoDB Reader插件读出数据时,combine()支持合并MongoDB document中的多个字段为一个JSON串(多个字段合并成一个json串,当做一个字段到目的端)。
- 目的端数据库把同步过去数据,通过SQL分解处理。如下图。
这里不影响作业映射已有字段,combine()中是包含所有新增字段的json串,目的端sql进行处理即可获取数据。
父主题: 故障处理类