更新时间:2023-03-01 GMT+08:00

业务使用介绍

功能简介

数据集成FDI是ROMA Connect的数据集成组件,支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成,有如下优势:

  • 支持多种类型数据源

    ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源

    若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景,您还可以自定义数据源,具体请参见接入自定义数据源

  • 支持灵活的集成模式

    ROMA Connect支持定时和实时两种集成模式:

    • 定时:根据制定的任务计划,定时获取源端数据并集成到目标端。
    • 实时:实时将源端产生的数据集成到目标端。

    两种集成模式分别所支持的数据源类型请参见接入数据源

  • 支持自定义数据映射规则

    在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。

  • 支持不同网络环境间的数据集成

    源端数据与目标端数据可以分别在不互通的两个网络环境中。例如源端数据在本地数据中心,目标端数据在云上VPC内,两者网络不互通,但FDI既能访问云上VPC内的数据源,也能访问本地数据中心的数据源,实现不同网络环境间的数据集成。

  • 支持实时任务断点续传

    支持在源端或者目标端故障恢复后,或者人工重启任务后,自动从上次中断的位置恢复执行,继续进行数据采集,保证数据不丢失。

使用流程

使用ROMA Connect进行数据集成的流程如下图所示。

图1 业务使用流程

  1. 创建实例和集成应用
  2. 接入数据源

    接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数据。

  3. 创建集成任务。

    数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务:

    • 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。
    • 创建数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL Server等几种关系型数据库,具体请参见数据库的CDC配置
  4. 启动集成任务
    • 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
    • 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。