文档首页/ 云数据迁移 CDM/ 常见问题/ 故障处理类/ 作业配置添加字段,MongoDB字段映射存在问题
更新时间:2023-06-21 GMT+08:00

作业配置添加字段,MongoDB字段映射存在问题

问题描述

CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。

故障分析

  1. 查看文档提示CDM通过获取样值的方式无法获得所有列。
  2. 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数,可以把非公共的列封装为一个列。

解决方案

  1. 使用MongoDB Reader插件读出数据时,combine()支持合并MongoDB document中的多个字段为一个JSON串(多个字段合并成一个json串,当做一个字段到目的端)。

  2. 目的端数据库把同步过去数据,通过SQL分解处理。如下图。

    这里不影响作业映射已有字段,combine()中是包含所有新增字段的json串,目的端sql进行处理即可获取数据。