- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 开始使用ROMA Connect
- 实例管理
- 集成应用管理
-
数据源管理
- ROMA Connect支持的数据源
- 接入API数据源
- 接入ActiveMQ数据源
- 接入ArtemisMQ数据源
- 接入DB2数据源
- 接入DIS数据源
- 接入DWS数据源
- 接入DM数据源
- 接入Gauss100数据源
- 接入FTP数据源
- 接入HL7数据源
- 接入HANA数据源
- 接入HIVE数据源
- 接入LDAP数据源
- 接入IBM MQ数据源
- 接入Kafka数据源
- 接入MySQL数据源
- 接入MongoDB数据源
- 接入MQS数据源
- 接入MRS Hive数据源
- 接入MRS HDFS数据源
- 接入MRS HBase数据源
- 接入MRS Kafka数据源
- 接入OBS数据源
- 接入Oracle数据源
- 接入PostgreSQL数据源
- 接入Redis数据源
- 接入RabbitMQ数据源
- 接入RocketMQ数据源
- 接入SAP数据源
- 接入SNMP数据源
- 接入SQL Server数据源
- 接入GaussDB(for MySQL)数据源
- 接入WebSocket数据源
- 接入自定义数据源
- 数据集成指导
- 服务集成指导
- 服务集成指导(旧版界面)
- 消息集成指导
- 设备集成指导
- 应用业务模型使用指导
- 扩大资源配额
- 查看审计日志
- 查看监控指标
- 权限管理
- 用户指南(新版)
- 最佳实践
-
开发指南
- 数据集成开发指导
-
服务集成开发指导
- 开发说明
- API调用认证开发(APP认证)
- API调用认证开发(IAM认证)
-
自定义后端开发(函数后端)
- 函数后端脚本开发说明
- AesUtils类说明
- APIConnectResponse类说明
- Base64Utils类说明
- CacheUtils类说明
- CipherUtils类说明
- ConnectionConfig类说明
- DataSourceClient类说明
- DataSourceConfig类说明
- ExchangeConfig类说明
- HttpClient类说明
- HttpConfig类说明
- JedisConfig类说明
- JSON2XMLHelper类说明
- JSONHelper类说明
- JsonUtils类说明
- JWTUtils类说明
- KafkaConsumer类说明
- KafkaProducer类说明
- KafkaConfig类说明
- MD5Encoder类说明
- Md5Utils类说明
- QueueConfig类说明
- RabbitMqConfig类说明
- RabbitMqProducer类说明
- RedisClient类说明
- RomaWebConfig类说明
- RSAUtils类说明
- SapRfcClient类说明
- SapRfcConfig类说明
- SoapClient类说明
- SoapConfig类说明
- StringUtils类说明
- TextUtils类说明
- XmlUtils类说明
- 自定义后端开发(数据后端)
- 后端服务签名校验开发
- 消息集成开发指导
- 设备集成开发指导
-
API参考
- 使用前必读
- API概览
- 如何调用API
- 公共资源API
- 数据集成API
- 服务集成API
- 消息集成API
- 设备集成API
- 应用示例
- 权限和授权项
- 附录
- 历史API
- 修订记录
- SDK参考
-
常见问题
- 实例管理
-
数据集成
-
数据集成普通任务
- FDI各类数据库支持哪些数据类型?
- 跟踪号是什么,能跟踪到数据吗?
- FDI任务是否支持清空目标表?
- FDI任务只能采集单张表到单张表吗?
- 用户创建的FDI任务,同一账号的其他用户可见吗?
- FDI通过公网对接其他租户的MRS HIVE如何配置?
- 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
- OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办?
- MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
- MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写?
- MRS Hive是否支持分区?
- 源端API类型数据源自定义周期如何设置?
- SAP是否支持分页读取视图?
- 数据集成组合任务
-
数据集成普通任务
- 服务集成
- 消息集成
- 设备集成
-
故障排除
-
数据集成任务
- MRS Hive目标端写入时出现数据乱码
- MRS Hive写入时数据全部写在第一个字段里
- 目标端任务报任务运行超时
- MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this operation”错误
- Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误
- 源端Mysql增量采集每小时执行一次时部分数据丢失
- API到MySQL时源端报“401 unauthorized”错误
- Kafka集到Mysql目标端报“cannot find record mapping field”错误
- API到MySQL的定时任务时会出现源端报“connect timeout”错误
- Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。
- Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1
- 目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误
- 数据集成组合任务
- 数据源
- 服务集成
- 设备集成
-
数据集成任务
- 视频帮助
- 文档下载
- 通用参考
展开导读
功能总览
-
ROMA Connect
-
应用与数据集成平台(ROMA Connect)是一个全栈式的服务平台,聚焦应用和数据连接,提供数据、API、消息和设备集成能力,帮助企业快速联接云上云下,消除数字鸿沟,实现数字化转型。根据不同的集成业务场景,您可以选择使用不同的ROMA Connect功能。
- 数据集成:接入源端和目标端数据源,然后通过集成任务进行源端到目标端的数据集成。
- 服务集成:把API、数据源和自定义函数封装成标准的RESTFul API,并对外开放。
- 消息集成:创建消息Topic,不同系统通过Topic进行对接,发送和接收消息。
- 设备集成:在云端定义设备模型和注册设备,设备通过集成SDK接入云端,发送和接收消息。
-
-
集成应用
-
数据集成任务
-
ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。
数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务:
- 数据集成任务(普通任务):普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持单数据表的集成。
- 定时任务:根据制定的任务计划,定时获取源端数据并集成到目标端。
- 实时任务:实时将源端产生的数据集成到目标端。- 数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的同步,当前仅支持有限的几种数据类型。
- 数据集成任务(编排任务):编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能:
- 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。
- 任务配置采用拖拽节点的方式实现参数配置,简化流程。
- 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
自定义数据源
-
ROMA Connect支持常见的数据源类型,如关系型数据库、大数据存储、半结构化存储、消息系统等。如果ROMA Connect支持的数据源类型无法满足您的数据集成场景,您可以自行开发一个数据源读写插件,通过标准的RESTful接口与ROMA Connect进行连接,实现ROMA Connect对这类特殊数据源的读写。这个自定义数据源插件,称为连接器,通过连接器读写的数据源,称为自定义数据源。
为确保ROMA Connect可正常读写数据,连接器开放给ROMA Connect进行数据读写的RESTful接口,必须遵循ROMA Connect定义的接口实现规范。
-
-
负载通道
-
ROMA Connect通过创建负载通道,可访问指定服务器中已部署的后端服务,并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器(ECS),也可以通过IP访问其他VPC内的ECS和私有服务器。
例如,VPC中包含6台ECS,ROMA Connect已创建一条负载通道,并把ECS 01和ECS 04已添加到负载通道中,此时ROMA Connect通过负载通道可以直接访问VPC中的ECS 01和ECS 04。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
自定义后端
-
环境与环境变量
-
环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是默认存在的环境,也是正式发布环境。
环境变量是指在环境上创建的一种变量,该变量固定在环境上。通过环境变量,可实现同一个API,在不同环境中调用不同的后端服务。
例如创建API时,后端服务请求Path中定义了变量“Path”。在环境1中创建了变量“Path”,变量值“/Stage/test”,则API在发布到环境1时,使用“/Stage/test”代替“Path”,在环境1中调用此API时,后端服务请求Path为“/Stage/test”。在环境2中创建了变量“Path”,变量值“/Stage/AA”,则API在发布到环境2时,使用“/Stage/AA”代替“Path”,在环境2中调用此API时,后端服务请求Path为“/Stage/AA”。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
跨域访问
-
出于安全性考虑,浏览器会限制从页面脚本内发起的跨域请求,此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。
浏览器将CORS请求分为两类:简单请求和非简单请求。
- 简单请求:同时满足以下2个条件的,即为简单请求。
- 请求方法为HEAD/GET/POST。
- HTTP的头信息不超出以下几种字段:Accept、Accept-Language、Content-Language、Last-Event-ID、Content-Type(只限于三个值application/x-www-form-urlencoded、multipart/form-data、text/plain)。
对于简单请求,浏览器自动在头信息之中添加一个Origin字段,用于说明本次请求来自哪个源(协议+域名+端口)。服务器根据Origin字段,决定是否同意这次请求。服务器响应消息中包含“Access-Control-Allow-Origin”时,表示同意请求。
- 非简单请求:把API、数据源和自定义函数封装成标准的RESTFul API,并对外开放。
对于非简单请求,在正式通信之前,浏览器会增加一次HTTP查询请求,称为预检请求。浏览器查询服务器,当前页面所在的源是否在服务器的许可名单之中,以及可以使用哪些HTTP请求方法和头信息字段。预检通过后,浏览器向服务器发送简单请求。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
流量控制
-
流量控制是指在单位时间内对单个API的调用次数进行限制,以保证API能够提供持续稳定的服务。流量控制可以从用户、应用和源IP的维度,对API的调用次数进行限制。
流量控制策略和API本身相互独立,流量控制策略只对与策略绑定的API生效。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
访问控制
-
访问控制是指对API的调用来源进行限制,对API的调用进行安全防护。访问控制可以对访问API的IP地址或账号设置黑白名单,允许或拒绝指定IP地址或账号访问API。
访问控制策略和API本身相互独立,访问控制策略只对与策略绑定的API生效。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
Topic
-
Topic即消息主题,是消息队列的一种发布与订阅消息的模型,消息的生产、消费及管理围绕着消息主题进行。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
生产者与消费者
-
生产者为向Topic发布消息的一方,发布消息的最终目的在于将消息内容传递给其他系统,使对方能按照约定处理该消息。
消费者为从Topic订阅消息的一方,订阅消息的最终目的在于处理消息内容。如日志集成场景中,监控告警平台作为消费者从Topic订阅日志消息,识别出告警日志并发送告警消息/邮件。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-
-
产品
-
规则引擎
-
设备通知
-
ROMA Connect提供设备变更通知服务,当订阅的设备状态发生变化,如设备上线、下线、删除等,ROMA Connect会发送消息到对应的消息集成Topic,方便实时获取设备最新状态信息。
发布区域:华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡
-