- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 开始使用ROMA Connect
- 实例管理
- 集成应用管理
-
数据源管理
- ROMA Connect支持的数据源
- 接入API数据源
- 接入ActiveMQ数据源
- 接入ArtemisMQ数据源
- 接入DB2数据源
- 接入DIS数据源
- 接入DWS数据源
- 接入DM数据源
- 接入Gauss100数据源
- 接入FTP数据源
- 接入HL7数据源
- 接入HANA数据源
- 接入HIVE数据源
- 接入LDAP数据源
- 接入IBM MQ数据源
- 接入Kafka数据源
- 接入MySQL数据源
- 接入MongoDB数据源
- 接入MQS数据源
- 接入MRS Hive数据源
- 接入MRS HDFS数据源
- 接入MRS HBase数据源
- 接入MRS Kafka数据源
- 接入OBS数据源
- 接入Oracle数据源
- 接入PostgreSQL数据源
- 接入Redis数据源
- 接入RabbitMQ数据源
- 接入RocketMQ数据源
- 接入SAP数据源
- 接入SNMP数据源
- 接入SQL Server数据源
- 接入GaussDB(for MySQL)数据源
- 接入WebSocket数据源
- 接入自定义数据源
- 数据集成指导
- 服务集成指导
- 服务集成指导(旧版界面)
- 消息集成指导
- 设备集成指导
- 应用业务模型使用指导
- 扩大资源配额
- 查看审计日志
- 查看监控指标
- 权限管理
- 用户指南(新版)
- 最佳实践
-
开发指南
- 数据集成开发指导
-
服务集成开发指导
- 开发说明
- API调用认证开发(APP认证)
- API调用认证开发(IAM认证)
-
自定义后端开发(函数后端)
- 函数后端脚本开发说明
- AesUtils类说明
- APIConnectResponse类说明
- Base64Utils类说明
- CacheUtils类说明
- CipherUtils类说明
- ConnectionConfig类说明
- DataSourceClient类说明
- DataSourceConfig类说明
- ExchangeConfig类说明
- HttpClient类说明
- HttpConfig类说明
- JedisConfig类说明
- JSON2XMLHelper类说明
- JSONHelper类说明
- JsonUtils类说明
- JWTUtils类说明
- KafkaConsumer类说明
- KafkaProducer类说明
- KafkaConfig类说明
- MD5Encoder类说明
- Md5Utils类说明
- QueueConfig类说明
- RabbitMqConfig类说明
- RabbitMqProducer类说明
- RedisClient类说明
- RomaWebConfig类说明
- RSAUtils类说明
- SapRfcClient类说明
- SapRfcConfig类说明
- SoapClient类说明
- SoapConfig类说明
- StringUtils类说明
- TextUtils类说明
- XmlUtils类说明
- 自定义后端开发(数据后端)
- 后端服务签名校验开发
- 消息集成开发指导
- 设备集成开发指导
-
API参考
- 使用前必读
- API概览
- 如何调用API
- 公共资源API
- 数据集成API
- 服务集成API
- 消息集成API
- 设备集成API
- 应用示例
- 权限和授权项
- 附录
- 历史API
- 修订记录
- SDK参考
-
常见问题
- 实例管理
-
数据集成
-
数据集成普通任务
- FDI各类数据库支持哪些数据类型?
- 跟踪号是什么,能跟踪到数据吗?
- FDI任务是否支持清空目标表?
- FDI任务只能采集单张表到单张表吗?
- 用户创建的FDI任务,同一账号的其他用户可见吗?
- FDI通过公网对接其他租户的MRS HIVE如何配置?
- 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
- OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办?
- MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
- MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写?
- MRS Hive是否支持分区?
- 源端API类型数据源自定义周期如何设置?
- SAP是否支持分页读取视图?
- 数据集成组合任务
-
数据集成普通任务
- 服务集成
- 消息集成
- 设备集成
-
故障排除
-
数据集成任务
- MRS Hive目标端写入时出现数据乱码
- MRS Hive写入时数据全部写在第一个字段里
- 目标端任务报任务运行超时
- MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this operation”错误
- Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误
- 源端Mysql增量采集每小时执行一次时部分数据丢失
- API到MySQL时源端报“401 unauthorized”错误
- Kafka集到Mysql目标端报“cannot find record mapping field”错误
- API到MySQL的定时任务时会出现源端报“connect timeout”错误
- Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。
- Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1
- 目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误
- 数据集成组合任务
- 数据源
- 服务集成
- 设备集成
-
数据集成任务
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
数据映射
“数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。
配置参数
参数 |
说明 |
---|---|
源端数据源 |
设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。 |
目的端数据源 |
设置目的端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。 |
如果后续节点想要引用“数据映射”处理器的输出数据,可通过${节点id|payload.xxx}的形式来引用。节点id可通过单击“数据映射”处理器获取到。
目的端-数据格式为XML样例
当目的端数据源,选择数据格式“XML”时,根标签:root(默认),用户可修改为其他字段,但不可为“空”。
源端MySQL数据库表 demo.statistics 中的数据:
id |
city |
---|---|
uuid1 |
suzhou |
uuid2 |
shanghai |
数据映射输出数据为:
<root> <custom> <key1>uuid1</key1> <key2> <level2>suzhou</level2> </key2> </custom> <custom> <key1>uuid2</key1> <key2> <level2>shanghai</level2> </key2> </custom> </root>
目的端-数据格式为CSV样例
是否跳过标题:CSV文件的表头,数值 true/false:输出数据是/否含有表头。
分隔符:文件中每列数据通过单元格进行分隔,单元格可以为“制表符”、“空格”、“逗号”、“分号”。
场景1:目的端数据源选择数据格式“CSV”,是否跳过标题:true,字段分隔符:逗号 。
导入文件时,当是否跳过标题选择“true”,默认解析csv第一行为字段名。
源端MySQL数据库表 demo.statistics 中的数据:
id |
city |
---|---|
uuid1 |
suzhou |
uuid2 |
shanghai |
数据映射输出数据为:
ManufacturerId, ProductName uuid1, suzhou uuid2, shanghai
场景2:目的端数据源选择数据格式“CSV”,是否跳过标题:false,字段分隔符:逗号。
导入文件时,当是否跳过标题选择“false”,不使用导入文件的头字段,系统默认设置字段filedN。
源端MySQL数据库表 demo.statistics 中的数据:
id |
city |
---|---|
uuid1 |
suzhou |
uuid2 |
shanghai |
数据映射输出数据为:
uuid1, suzhou uuid2, shanghai
源端-数据格式为JSON样例
当源端数据源的类型为“JSON”时,在使用数据映射时选择数据格式“JSON”,将源端数据源的输出作为源端数据源页签中“导入文件”的输入,根据文件的编码格式选择导入文件编码,可选项有GB2312、UTF-8和ASCII。此时源端数据源页签中会根据导入的文件内容自动生成相应的字段。
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。
以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中,对象存储服务 OBS产生的结果是数据映射的源端数据源,MySql是目的端数据源。可以通过使用Open API调用OBS连接器执行获取桶内对象列表的操作结果获得远端数据源的导入文件。也可以根据OBS连接器执行获取桶内对象列表的操作结果手动添加字段信息。
源端导入的文件内容:
{
"responseHeaders": {
"bucket-location": "cn-north-7",
"connection": "keep-alive",
"content-length": "504",
"content-type": "application/xml",
"date": "2024-04-24T07:07:43.000+00:00",
"id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK ncLEgZnxffa8vFPuDgVIt7n9",
"request-id": "0000018F0EEE84734012ACF15A46395E",
"server": "OBS"
},
"originalHeaders": {
"connection": "keep-alive",
"content-length": "504",
"content-type": "application/xml",
"date": "Wed, 24 Apr 2024 07:07:43 GMT",
"server": "OBS",
"x-obs-bucket-location": "cn-north-7",
"x-obs-id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK+ncLEgZnxffa8vFPuDgVIt7n9",
"x-obs-request-id": "0000018F0EEE84734012ACF15A46395E"
},
"statusCode": 200,
"objectSummaries": [
{
"bucketName": "test0223",
"objectKey": "test0424.txt",
"owner": {
"displayName": null,
"id": "0ab78f256080d2890feac0086234d7c0"
},
"metadata": {
"responseHeaders": {},
"originalHeaders": {},
"statusCode": 0,
"lastModified": "2024-04-24T06:51:46.566+00:00",
"contentLength": 19,
"contentType": null,
"contentEncoding": null,
"contentDisposition": null,
"cacheControl": null,
"contentLanguage": null,
"expires": null,
"etag": "\"0b26e313ed4a7ca6904b0e9369e5b957\"",
"contentMd5": null,
"crc64": null,
"storageClass": "STANDARD",
"webSiteRedirectLocation": null,
"nextPosition": -1,
"appendable": false,
"objectStorageClass": "STANDARD",
"allMetadata": {},
"metadata": {},
"requestId": ""
},
"objectContent": null
}
],
"commonPrefixes": [],
"extendCommonPrefixes": [],
"bucketName": "test0223",
"truncated": false,
"prefix": "",
"marker": "",
"maxKeys": 1000,
"delimiter": null,
"nextMarker": null,
"location": "cn-north-7",
"extenedCommonPrefixes": [],
"objects": [
{
"bucketName": "test0223",
"objectKey": "test0424.txt",
"owner": {
"displayName": null,
"id": "0ab78f256080d2890feac0086234d7c0"
},
"metadata": {
"responseHeaders": {},
"originalHeaders": {},
"statusCode": 0,
"lastModified": "2024-04-24T06:51:46.566+00:00",
"contentLength": 19,
"contentType": null,
"contentEncoding": null,
"contentDisposition": null,
"cacheControl": null,
"contentLanguage": null,
"expires": null,
"etag": "\"0b26e313ed4a7ca6904b0e9369e5b957\"",
"contentMd5": null,
"crc64": null,
"storageClass": "STANDARD",
"webSiteRedirectLocation": null,
"nextPosition": -1,
"appendable": false,
"objectStorageClass": "STANDARD",
"allMetadata": {},
"metadata": {},
"requestId": ""
},
"objectContent": null
}
],
"requestId": "0000018F0EEE84734012ACF15A46395E"
}
数据映射输出结果为: