基本概念
RCU
RCU(ROMA Compute Unit)即ROMA计算单元,为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。
连接器
ROMA Connect支持常见的数据源类型,如关系型数据库、大数据存储、半结构化存储、消息系统等。如果ROMA Connect支持的数据源类型无法满足您的数据集成场景,您可以自行开发一个数据源读写插件,通过标准的RESTful接口与ROMA Connect进行连接,实现ROMA Connect对这类特殊数据源的读写。这个自定义数据源插件,称为连接器。
环境
环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是默认存在的环境,也是正式发布环境。
环境变量
环境变量是指在环境上创建的一种变量,该变量固定在环境上。通过环境变量,可实现同一个API,在不同环境中调用不同的后端服务。
负载通道
ROMA Connect通过创建负载通道,可访问同一VPC内的弹性云服务器(ECS),并把弹性云服务器中已部署的后端服务用于API开放。另外负载通道还可以实现后端服务访问的负载均衡功能。
生产者
生产者为向消息主题(Topic)发布消息的一方,发布消息的最终目的在于将消息内容传递给其他系统,使对方能按照约定处理该消息。
消费者
消费者为从消息主题(Topic)订阅消息的一方,订阅消息的最终目的在于处理消息内容。如日志集成场景中,监控告警平台作为消费者从Topic订阅日志消息,识别出告警日志并发送告警消息/邮件。
分区
Kafka将消息主题(Topic)划分为多个分区(Partition),消息被分布式存储在不同分区中,实现Kafka的水平扩展与高可用。
副本
为了提高消息的可靠性,Kafka的每个分区会有多个副本,对消息进行冗余备份。分区在每个副本存储一份全量数据,副本之间的消息数据保持同步。分区挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader上完成,消息从Leader副本复制到其他副本(Follower)。
Kafka的主题是一个逻辑概念,分区与副本属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、副本与主题间的关系。
Topic
Topic即消息主题,是消息队列的一种发布与订阅消息的模型,消息的生产、消费及管理围绕着消息主题进行。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
产品
产品是某一类具有相同能力或特征的设备合集。每个设备都有一个归属的产品,通过定义产品来确定设备所具备的功能属性。
物模型
物模型定义了设备所具备的业务能力,即设备能做什么,可以对外提供哪些信息。通过将设备业务能力拆分成若干个物模型服务,再定义每个物模型服务具备的属性、命令以及命令的参数,最终完成物模型定义。
规则引擎
ROMA Connect不直接存储设备上报的数据,用户可以通过规则引擎配置设备数据的转发规则,把设备上报的数据转发到其他云服务进行存储或做进一步分析处理,供业务应用使用。
组合应用
组合应用是指将多条业务流整合在一起,形成一个更复杂的自动化解决方案,以满足多样化的业务需求。通过组合应用,用户可以实现跨系统、跨服务的端到端业务流程自动化。
例如,可以将数据采集、处理、存储和通知等多个业务流串联起来,形成一个完整的数据处理管道。组合应用的优势在于其灵活性和可扩展性,用户可以根据业务变化随时调整或扩展工作流的逻辑,同时支持多工作流之间的数据共享和协同工作,从而实现更高效的业务运营。
一个组合应用可以包含多条业务流,并对多条流进行编辑、启动、停止、调试等操作。
业务流
业务流是一系列自动化任务的集合,按照预定义的逻辑顺序执行,以完成特定的业务流程。它通过编排多个任务(如数据读取、处理、存储和通知)来实现复杂的业务逻辑,支持条件分支、循环和错误处理等高级功能。业务流的核心价值在于其自动化能力,能够显著减少人工干预,提高业务效率。
一条业务流由触发器、连接器、处理器等元素构成。
触发器
触发器是启动业务流的条件或事件,它监听特定的外部事件或时间点,并在满足条件时自动触发业务流的执行。触发器可以是事件驱动的,例如文件上传到对象存储或数据库记录更新,也可以是时间驱动的,例如每天凌晨执行任务。
触发器的核心作用是作为业务流的起点,确保流程能够在正确的时机自动运行。触发器的灵活配置使得业务流能够适应各种业务场景,从而实现高效的自动化响应。
连接器(业务流)
连接器是业务流中用于与外部服务或系统交互的组件,它封装了与特定服务通信的细节,简化了集成过程。连接器支持多种服务,例如云服务、消息系统、数据库、HTTP以及第三方服务(如邮箱、微信等),并提供预定义的API调用、认证和数据格式转换等功能。通过连接器,业务流可以轻松地读取或写入外部系统的数据,调用外部API,或发送通知。
例如,使用数据库连接器可以从云服务RDS中读取数据,而使用邮件连接器可以发送处理结果通知。连接器的作用在于降低集成的复杂性,提高工作流的可扩展性和适用性。
处理器
处理器是业务流中用于对数据进行操作和转换的核心组件。它接收来自前一个连接器、处理器或触发器的输入数据,并根据预定义的逻辑对数据进行处理,然后将结果传递给下一个处理器或连接器。
处理器的功能分类包括逻辑控制、数据处理和定位定界,能够满足多样化的数据处理需求。
变量
变量是业务流中用于存储临时数据的容器,它可以在业务流的执行过程中保存和传递数据。变量来源包括触发器、连接器、处理器的输出或者在组合应用中定义的系统变量。
变量可以是基本数据类型(如字符串、数字、布尔值),也可以是对象(如数组、json)。通过使用变量,用户可以在不同的处理器和连接器之间共享数据,从而实现更复杂的业务逻辑。
函数表达式
函数表达式是业务流中用于对数据进行计算、转换和操作的逻辑表达式。它支持多种内置函数,例如数学计算、字符串操作、日期处理、加密解密等,能够满足复杂的数据处理需求。
通过函数表达式,用户可以在处理器或连接器中动态地计算数据值、格式化输出或执行类型转换。