业务使用介绍

功能简介

数据集成FDI是ROMA Connect的数据集成组件，支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成，有如下优势：

• 支持多种类型数据源

  ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源，具体支持的数据源类型请参见数据集成任务支持的数据源。

  若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景，您还可以自定义数据源，具体请参见接入自定义数据源。

• 支持灵活的集成模式

  ROMA Connect支持定时和实时两种集成模式：

  • 定时：根据制定的任务计划，定时获取源端数据并集成到目标端。
  • 实时：实时将源端产生的数据集成到目标端。

  两种集成模式分别所支持的数据源类型请参见接入数据源。

• 支持自定义数据映射规则

  在进行源端到目标端的数据字段转换时，您可以自定义映射规则，例如将源数据的一个数据列复制出相同的多列数据，再集成到目标端。

• 支持不同网络环境间的数据集成

  源端数据与目标端数据可以分别在不互通的两个网络环境中。例如源端数据在本地数据中心，目标端数据在云上VPC内，两者网络不互通，但FDI既能访问云上VPC内的数据源，也能访问本地数据中心的数据源，实现不同网络环境间的数据集成。

• 支持实时任务断点续传

  支持在源端或者目标端故障恢复后，或者人工重启任务后，自动从上次中断的位置恢复执行，继续进行数据采集，保证数据不丢失。

使用流程

使用ROMA Connect进行数据集成的流程如下图所示。

图1 业务使用流程

1. 已创建实例和集成应用。
2. 接入数据源。

   接入源端和目标端数据源，确保可以正常从源端读取数据以及向目标端写入数据。

3. 创建集成任务。

   数据集成任务规定了源端到目标端的数据集成规则，包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务：

   • 创建数据集成任务：普通数据集成任务，有定时任务和实时任务两种集成模式，支持所有默认类型的数据源，对于数据库类型数据源，只支持源端一个数据表到目标端一个数据表的集成同步。
   • 创建数据集成任务（组合任务）：组合任务，通过CDC（Change Data Capture，数据变更抓取）实现源端到目标端数据的实时同步及增量同步，支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL Server等几种关系型数据库，具体请参见数据库的CDC配置。
4. 启动集成任务。
   • 定时任务启动后，ROMA Connect按照任务计划进行数据集成。首次执行时，会把所有符合条件的源端数据集成到目标端，后续根据任务配置，集成符合条件的全量数据或只集成增量数据。
   • 实时任务启动后，ROMA Connect会不断检测源端数据变更。首次执行时，会把所有符合条件的源端数据集成到目标端，后续若检测到新增数据，则将其集成到目标端。