文档首页> > 产品介绍> ROMA平台的功能> FDI

FDI

分享
更新时间: 2019/05/17 09:07

快速数据集成FDI(Fast Data Integration,简称FDI)是ROMA平台的数据集成组件。FDI支持多种数据源之间的灵活、快速、无侵入式的数据集成与转换。FDI可以实现离线数据同步,例如跨机房、跨数据中心、跨云的数据集成方案,并能自助安装部署、运维、监控集成数据。FDI的功能如下:

  • 数据集成任务的生命周期管理

    FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。

    图1 任务管理
  • 系统管理

    FDI提供权限管理、认证管理、菜单管理、用户管理等操作。

    图2 系统管理
  • 灵活的数据读写
    • 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
    • 如果服务意外中断 ,修复服务之后FDI支持自动修复任务。
    • 支持任务调度、任务监控、任务中断续读。
      图3 读写数据插件
  • 可靠的数据传输通道
    FDI可以持续监听数据通道中的数据,支持100个以上的线程并发执行。FDI实时监听消息队列把数据实时写入目标队列。
    图4 监听数据传输通道
  • 任务调度

    FDI提供全面、灵活、高可用的任务调度服务,支持通过API或以消息方式进行数据集成。按照时间、数据数量等任务触发规则来调度任务。根据任务配置,为插件分配任务,并监控和记录任务的执行状态,如图5所示。

    企业根据不同的业务需求,可以选择不同的数据集成方式:

    • 实时增量集成适用于需要实时监控数据变化的业务场景,例如收集生产线上设备的实时参数。
    • 实时全量集成适用于需要实时监控所有历史数据的业务场景,例如统计供应商合作伙伴的出货量。
    • 定时增量集成适用于监控一段时间内数据变化的业务场景,例如企业采用新的生产策略后,验证生产效率是否达到预期效果。
    • 定时全量集成适用于监控一段时间内所有历史数据的业务场景,例如统计上下班高峰期内出入园区的车辆数目。
      图5 任务调度
  • 便捷的调试工具

    FDI提供便捷的页面调试工具,测试数据源是否能够连通,简化数据集成开发,降低维护成本。

  • 监控告警

    对创建的数据集成任务的运行情况进行监控,并对异常的任务进行处理,保证业务正常运行,如图6所示。

    图6 任务监控
  • 版本管理

    一个集成任务可以发布不同的版本到不同的环境,以满足场景变换、版本升级等需求。

    图7 FDI流程
如果您喜欢这篇文档,您还可以:

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区