更新时间:2023-09-26 GMT+08:00
分享

ETL映射设计

ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。

新建ETL映射

图1 新建ETL映射

参数

说明

映射名称

自定义

数据库数据类型

支持DWS、MRS_HIVE、MRS_SPARK,与物理模型数据类型一致

映射方式

  • INSERT:插入数据
  • MERGE:加载数据时,插入目标表中不存在的数据,更新目标表中存在的数据

源模型

需要进行ETL映射的源端物理模型,需要在物理模型设计中先完成设计

目标模型

需要进行ETL映射的目标端物理模型,需要在物理模型设计中先完成设计

目标表

选择目标模型中配置的表

是否删除数据

选择是否删除目标模型中的表数据

源表

选择源模型中配置的表

一致性校验

创建的ETL脚本支持一致性校验,脚本本身是否符合SQLl语法、引用到的物理模型是否存在、引用到的物理模型表和字段是否存在。

图2 一致性校验

预览和下载

ETL已完成的脚本支持预览和下载。支持在创建界面预览和下载脚本,或在ETL映射管理界面预览和下载。
图3 在新建界面预览和下载
图4 ETL映射管理界面预览和下载

相关文档