文档首页 > > 用户指南> FDI使用指南> 使用FDI能做什么

使用FDI能做什么

分享
更新时间: 2019/09/18 GMT+08:00

FDI即快速数据集成,将数据从一个环境集成到另一个环境,例如在工业环境监测场景中,检测仪设备将检测信息以消息的形式上传到ROMA Link中,Link通过规则引擎将消息转储到MQS,FDI则读取MQS,将消息数据集成到后端大数据平台,从而实现对环境的大数据分析。

FDI具有哪些优势

使用FDI进行数据集成,有如下优势:

  • 集成模式灵活

    FDI的集成模式分定时和实时两种:支持以任务调度方式定时获取源端数据并集成到后端,也支持将源端产生的数据实时集成到后端。

    其中实时集成的源端数据支持Kafka、DIS和WebSocket。

  • 十多种类型的数据源

    关系型数据库:将数据表或者数据表中的部分列数据传递给目标端,包括MySQL、PostgreSQL、Oracle、SQL Server等主流关系型数据库。

    API:以API调用方式获取和上传数据,支持在API响应阶段对数据特殊加工。

    Kafka:消息类型的数据。

    OBS:OBS即华为云对象存储服务,将存储在OBS桶中的视频、图像或其他文件集成到目标端。

    其他还包括了华为云数据仓库DWS、华为云大数据处理平台MRS、华为云数据接入服务DIS、MongoDB、Redis、WebSocket等。

  • 支持异构数据源间的集成

    例如,MySQL的表数据行,可以转换成其他关系型数据库的表数据行,也可以转成消息数据,传递给后端Kafka。

  • 支持自定义数据映射规则

    在进行数据字段转化时,还可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到后端。

  • 支持不同的网络环境间集成数据

    源数据与目标端数据可以分别存储在两个网络不互通的环境中,例如源数据在本地数据中心,目标数据可以在华为云的VPC内,二者网络不互通,但FDI既能访问云上VPC内的数据源,也能访问本地数据中心,因此通过FDI能完成不同网络环境间的数据集成。

如何使用FDI

  1. 首先,您需要在ROMA实例中创建数据源

    将源数据信息以及目标数据信息作为数据源配置好,确保FDI能够访问。数据源定义了所处网络环境、数据连接地址和端口,以及用户鉴权等信息。

  2. 然后,您需要创建一个集成任务

    集成任务规定了源端向目标端的数据集成详细规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。

  3. (可选)制定任务调度计划

    如果是定时任务,则需要对任务制定调度计划,确定任务调度周期和开始执行时间。调度周期支持使用QuartZ Cron表达式规范。

    任务调度计划在创建集成任务中做了初始配置,您还可以在集成任务创建后编辑任务调度计划。

  4. 最后,启动集成任务

    实时任务启动后,FDI会不断检测源端数据变更,遇到新增数据(如Kafka消息),则将其集成到目标端。

    定时任务启动后,FDI按照调度计划执行数据集成。如果前一次调度未完成,新的调度启动后会暂停执行,等待前一次调度完成。

    如果仅需要做一次性全量集成,可以对任务发起一次手工调度,而不用启动调度计划。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区