文档首页/ 应用与数据集成平台 ROMA Connect/ 产品介绍/ 什么是应用与数据集成平台
更新时间:2024-10-30 GMT+08:00

什么是应用与数据集成平台

企业在向数字化转型的过程中会面临诸多难题:缺少统一的设备信息集成途径;数据格式多样化,难以传输和集成;缺少与合作伙伴分享数据和后端服务的便捷途径;缺少云上云下跨网络的安全信息通道。ROMA Connect是一个全栈式的应用与数据集成平台,源自华为数字化转型集成实践,聚焦应用和数据连接,适配多种企业常见的使用场景。ROMA Connect提供轻量化消息、数据、API、设备、模型等集成能力,简化企业上云流程,支持云上云下、跨区域集成,帮助企业实现数字化转型。

图1 ROMA Connect总体架构示意图

ROMA Connect主要包含四个组件:数据集成(FDI)、服务集成(APIC)、消息集成(MQS)、设备集成(LINK)。

FDI

快速数据集成FDI(Fast Data Integration,简称FDI)是ROMA Connect的数据集成组件。FDI支持多种数据源(文本、消息、API、关系型数据和非关系型数据等)之间的灵活、快速、无侵入式的数据集成,可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。

例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。

表1 FDI功能

功能

简介

数据集成任务的生命周期管理

FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。

灵活的数据读写

  • 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
  • 如果服务意外中断 ,修复服务之后FDI支持自动修复任务。
  • 支持任务调度、任务监控、任务中断续读。

可靠的数据传输通道

FDI可以持续监测数据通道中的数据,支持100个以上的线程并发执行。FDI实时监测消息队列把数据实时写入目标队列。

任务调度

FDI提供全面、灵活、高可用的任务调度服务,支持通过API或以消息方式进行数据集成。按照时间、数据数量等任务触发规则来调度任务。根据任务配置,为插件分配任务,并监控和记录任务的执行状态。

企业根据不同的业务需求,可以选择不同的数据集成方式:

  • 实时增量集成适用于需要实时监控数据变化的业务场景,例如收集生产线上设备的实时参数。
  • 实时全量集成适用于需要实时监控所有历史数据的业务场景,例如统计供应商合作伙伴的出货量。
  • 定时增量集成适用于监控一段时间内数据变化的业务场景,例如企业采用新的生产策略后,验证生产效率是否达到预期效果。
  • 定时全量集成适用于监控一段时间内所有历史数据的业务场景,例如统计上下班高峰期内出入园区的车辆数目。

监控告警

对创建的数据集成任务的运行情况进行监控,并对异常的任务进行处理,保证业务正常运行。

APIC

服务集成APIC(API Connect,简称APIC)是ROMA Connect的API集成组件。APIC将数据和后端服务以API形式开放,简化分享数据或提供服务的过程,降低企业之间对接的成本。APIC提供不同语言的SDK和示例代码,简化企业以API形式开放后端服务的过程。

例如集团与各地区子公司的IT系统集成,直接访问对方各类数据库方式过于复杂,且容易发生信息泄露风险,如果以API方式互相开放访问,同时加强API调用安全防护,就能实现跨网络跨地域协同办公。

表2 APIC功能

功能

简介

API生命周期管理

APIC提供包括API的创建、发布、下线和删除的完整生命周期管理功能。

便捷调试工具

APIC提供页面调试工具,简化API开发,降低API的维护成本。

版本管理

一个API可以发布不同的版本到不同的环境,以满足业务版本升级等需求。

流量控制

用于管控API的请求频率、用户的请求频率和应用的请求频率。

流量控制的时间单位可以是秒、分钟、小时或天。允许设置特殊的应用,不受到流量控制策略的影响。

监控统计

提供实时、可视化的API监控,包括:API请求次数、API调用错误信息。

环境变量

当API发布到不同环境时,一般通过在API调用的请求头增加指定的头部参数及特殊取值区分不同的环境。发布过程中变量标识会根据环境的变量值进行替换,保证API本身定义不变。

自定义后端

包括自定义Data API与自定义Function API。

  • 自定义Data API指企业将数据库作为API后端服务接入APIC,将数据服务能力转换为REST接口的能力。
  • 自定义Function API,类似简化版的函数服务,在APIC后端编写自定义脚本或函数,作为API后端服务,供前端统一调用。

MQS

消息集成(Message Queue Service,简称MQS)是ROMA Connect的消息集成组件。MQS支持Kafka协议,使用统一的消息接入机制,为企业提供跨网络访问的安全、标准化消息通道。

例如企业与合作伙伴使用的消息系统不一样,消息系统对接成本较高,而且难以保证对接之后消息传输的可靠性和安全性。企业之间可以协定使用Kafka通信协议,那么MQS可以作为消息中转站,提供安全、可靠的消息传输通道。企业创建多个topic,设置每个合作伙伴订阅topic的权限,然后将消息发布到多个topic中。合作伙伴通过订阅topic,获取topic内的消息。

表3 MQS功能

功能

简介

原生Kafka基础功能

MQS除了支持客户端连接后管理Topic和发布订阅消息,还支持在ROMA Connect控制台可视化操作,包括Topic创建和管理、用户管理与权限设置、消息查询等功能。

监控报警

MQS从实例、节点、Topic、消费组等多个维度,设立了不同监控指标,数据上报云监控服务,企业可以在云监控服务的管理控制台查看相关监控数据。MQS支持企业配置告警规则,轻松实现监控数据概览与异常告警。

消息查看

MQS提供了可视化的消息查询功能,可在界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。

LINK

设备集成(LINK)是ROMA Connect的设备集成组件。设备集成使用MQTT标准协议连接设备,帮助企业快速、简单地实现设备云端管理。

例如工业场景中,设备的信息和生产过程中的参数比较分散。生产线出现故障时,如果靠人工采集每一台设备的信息与参数,定位问题的过程缓慢。设备集成能够连接设备和IT系统、大数据平台,将设备的运行状态等信息上传到IT系统或大数据平台,实现所有设备的信息可视化,一旦生产线出现故障,企业能够快速定位问题。通过配置LINK的规则引擎,把设备参数的极限值输入到设备引擎里面,如果设备的实时参数一直在向极限值接近,就发出告警信息,提醒用户停止设备,对设备进行维护和保养。

表4 LINK功能

功能

简介

发布和订阅消息

LINK支持标准的MQTT协议,企业可以使用开源的标准MQTT设备端SDK将设备轻松接入云端,进行消息的发布和订阅。

实现设备与后端各应用的消息互通

用户可以在控制台配置规则引擎实现设备与其他设备、后端、其他云服务的消息互通。

LINK支持规则引擎转发数据到消息集成MQS。第三方服务通过MQS服务获取数据,实现设备与第三方服务的异步消息通信。

支持海量设备低延时接入

LINK支持Broker水平扩展,支持百万设备长连接。

支持设备与应用之间的双向同步

LINK支持物模型定义,模型与设备影子绑定。用户可以基于设备影子实现设备与应用之间配置数据、状态数据的双向同步。

一方面,用户可以通过API将配置参数设置到设备影子里,设备在线或上线时,都可以从设备影子获取配置参数。另一方面,设备可以将最新状态上报到设备影子。用户查询设备状态时,只需查询设备影子,而不必与设备进行直接网络通信。

保证信息传输的安全

LINK提供设备、应用授权认证及Topic的双向绑定授权,保障设备安全与唯一性,提供TLS标准的数据传输通道保障消息传输通道的安全。

组合应用

ROMA Connect可通过组合应用进行应用的复合集成,通过开放的API和事件通道进行应用的多次组装,形成新的组合应用,实现业务快速复制创新,形成千人千面的集成体验。内置海量连接器,提供各种数据库、API、消息、SaaS应用等的连接器封装。同时提供自定义连接器框架,可快速按需扩展定制;提供丰富的预置组合应用集成模板和生态连接器,联合各行各业的伙伴积累行业资产,开箱即用。

表5 组合应用功能

功能

简介

组合应用

在画布页面对各种触发器、连接器、处理器进行编排和配置,组合成新的组合应用。

智能助手

智能助手通过NLP (Natural Language Processing) 机器学习,理解用户输入的集成业务需求,匹配系统支持的触发器、连接器和数据处理器,生成组合应用。可以对生成的组合应用进一步配置和编排,最后构建,部署上线。

组合应用模板

提供丰富的预置组合应用集成模板,帮助用户快速便捷的创建组合应用。

引用变量

用户在编辑设计组合应用时,可以通过变量的方式快速引用流任务中的输入输出信息和配置信息,帮助用户便捷高效的设计组合应用。

在线调试

创建组合应用和工作流并配置完成后,可对工作流进行在线调试,实时查看各个节点的运行信息,便于后续对工作流进行调整以满足业务需求。

监控统计

提供组合应用运行记录、系统日志、运行监控等监控信息统计。