文档首页 > > 用户指南> 数据集成指导> 业务使用介绍

业务使用介绍

分享
更新时间: 2020/04/27 GMT+08:00

功能简介

快速数据集成FDI是ROMA平台的数据集成组件,支持多种数据源之间的数据集成转换。使用ROMA进行数据集成,有如下优势:

  • 支持多种类型数据源

    ROMA支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见FDI支持的数据源

    若ROMA默认支持的数据源类型无法满足您的数据集成场景,您还可以自定义数据源,具体请参见接入自定义数据源

  • 支持灵活的集成模式

    ROMA支持定时和实时两种集成模式:

    • 定时:根据制定的调度计划,定时获取源端数据并集成到目标端。
    • 实时:实时将源端产生的数据集成到目标端。

    两种集成模式分别所支持的数据源类型请参见接入数据源

  • 支持自定义数据映射规则

    在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。

  • 支持不同网络环境间的数据集成

    源端数据与目标端数据可以分别在不互通的两个网络环境中。例如源端数据在本地数据中心,目标端数据在云上VPC内,两者网络不互通,但FDI既能访问云上VPC内的数据源,也能访问本地数据中心的数据源,实现不同网络环境间的数据集成。

使用流程

使用ROMA进行数据集成的流程如下图所示。

图1 业务使用流程
  1. 创建ROMA实例和应用
  2. 接入数据源

    接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数据。

  3. 创建集成任务

    数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA支持创建两种数据集成任务:

    • 创建数据集成任务:通用数据集成任务,支持所有默认类型的数据源,对于数据库类型数据源,只支持单数据表的集成。
    • 创建数据集成任务(组合任务):组合任务,支持一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,当前仅支持有限的几种数据类型。
  4. 启动集成任务
    • 实时任务启动后,ROMA会不断检测源端数据变更,若检测到新增数据,则将其集成到目标端。
    • 定时任务启动后,ROMA按照调度计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,之后只集成增量数据。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问