- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 开始使用ROMA Connect
- 实例管理
- 集成应用管理
-
数据源管理
- ROMA Connect支持的数据源
- 接入API数据源
- 接入ActiveMQ数据源
- 接入ArtemisMQ数据源
- 接入DB2数据源
- 接入DIS数据源
- 接入DWS数据源
- 接入DM数据源
- 接入Gauss100数据源
- 接入FTP数据源
- 接入HL7数据源
- 接入HANA数据源
- 接入HIVE数据源
- 接入LDAP数据源
- 接入IBM MQ数据源
- 接入Kafka数据源
- 接入MySQL数据源
- 接入MongoDB数据源
- 接入MQS数据源
- 接入MRS Hive数据源
- 接入MRS HDFS数据源
- 接入MRS HBase数据源
- 接入MRS Kafka数据源
- 接入OBS数据源
- 接入Oracle数据源
- 接入PostgreSQL数据源
- 接入Redis数据源
- 接入RabbitMQ数据源
- 接入RocketMQ数据源
- 接入SAP数据源
- 接入SNMP数据源
- 接入SQL Server数据源
- 接入GaussDB(for MySQL)数据源
- 接入WebSocket数据源
- 接入自定义数据源
- 数据集成指导
- 服务集成指导
- 服务集成指导(旧版界面)
- 消息集成指导
- 设备集成指导
- 应用业务模型使用指导
- 扩大资源配额
- 查看审计日志
- 查看监控指标
- 权限管理
- 用户指南(新版)
- 最佳实践
-
开发指南
- 数据集成开发指导
-
服务集成开发指导
- 开发说明
- API调用认证开发(APP认证)
- API调用认证开发(IAM认证)
-
自定义后端开发(函数后端)
- 函数后端脚本开发说明
- AesUtils类说明
- APIConnectResponse类说明
- Base64Utils类说明
- CacheUtils类说明
- CipherUtils类说明
- ConnectionConfig类说明
- DataSourceClient类说明
- DataSourceConfig类说明
- ExchangeConfig类说明
- HttpClient类说明
- HttpConfig类说明
- JedisConfig类说明
- JSON2XMLHelper类说明
- JSONHelper类说明
- JsonUtils类说明
- JWTUtils类说明
- KafkaConsumer类说明
- KafkaProducer类说明
- KafkaConfig类说明
- MD5Encoder类说明
- Md5Utils类说明
- QueueConfig类说明
- RabbitMqConfig类说明
- RabbitMqProducer类说明
- RedisClient类说明
- RomaWebConfig类说明
- RSAUtils类说明
- SapRfcClient类说明
- SapRfcConfig类说明
- SoapClient类说明
- SoapConfig类说明
- StringUtils类说明
- TextUtils类说明
- XmlUtils类说明
- 自定义后端开发(数据后端)
- 后端服务签名校验开发
- 消息集成开发指导
- 设备集成开发指导
-
API参考
- 使用前必读
- API概览
- 如何调用API
- 公共资源API
- 数据集成API
- 服务集成API
- 消息集成API
- 设备集成API
- 应用示例
- 权限和授权项
- 附录
- 历史API
- 修订记录
- SDK参考
-
常见问题
- 实例管理
-
数据集成
-
数据集成普通任务
- FDI各类数据库支持哪些数据类型?
- 跟踪号是什么,能跟踪到数据吗?
- FDI任务是否支持清空目标表?
- FDI任务只能采集单张表到单张表吗?
- 用户创建的FDI任务,同一账号的其他用户可见吗?
- FDI通过公网对接其他租户的MRS HIVE如何配置?
- 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
- OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办?
- MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
- MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写?
- MRS Hive是否支持分区?
- 源端API类型数据源自定义周期如何设置?
- SAP是否支持分页读取视图?
- 数据集成组合任务
-
数据集成普通任务
- 服务集成
- 消息集成
- 设备集成
-
故障排除
-
数据集成任务
- MRS Hive目标端写入时出现数据乱码
- MRS Hive写入时数据全部写在第一个字段里
- 目标端任务报任务运行超时
- MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this operation”错误
- Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误
- 源端Mysql增量采集每小时执行一次时部分数据丢失
- API到MySQL时源端报“401 unauthorized”错误
- Kafka集到Mysql目标端报“cannot find record mapping field”错误
- API到MySQL的定时任务时会出现源端报“connect timeout”错误
- Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。
- Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1
- 目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误
- 数据集成组合任务
- 数据源
- 服务集成
- 设备集成
-
数据集成任务
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
准备资源
概述
ROMA Site协同版实例目前仅支持自建站点,企业自建边缘节点,使用客户自有机房的虚拟机。
在创建自建站点类型ROMA Site实例前,需要准备虚拟机资源、安装Docker、安装Haveged、配置NTP时间同步、挂载磁盘,以及检查虚拟机与ROMA Site、IEF、SWR、OBS以及AOM五个服务是否通信。
- 套餐包计费模式:即购买了套餐包。购买后,会根据实际使用情况从套餐包中直接扣费。
- 按需计费模式:即未购买套餐包,根据实际使用情况进行扣费。
具体计费详情请参考智能边缘平台IEF。
虚拟机资源准备有以下两种场景,您可以根据实际场景准备虚拟机资源。
- 首次创建ROMA Site实例,需要根据ROMA Site实例资源要求申请新的虚拟机。
- 使用已创建过ROMA Site实例,且实例已删除的虚拟机重新创建ROMA Site实例。
由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常运行。
首次创建ROMA Site实例
- ROMA Site实例分为基础版、专业版和API网关边缘实例(基础版、专业版、企业版、铂金版),在创建ROMA Site实例前,您可根据实际需要准备基础版或专业版的虚拟机资源,具体要求参见下表。
表1 虚拟机资源 实例规格
虚拟机数量(台)
VIP
CPU
内存(G)
磁盘io(读+写)(MB/s)
系统盘(G)
数据盘(G)
日志盘(G)
系统架构
Glibc版本
网络带宽性能
IEF边缘节点(个)
基础版
3
1
>=16
>=64
>=350
>=100
>=300
>=200
仅支持x86_64架构,具体支持的OS请参见IEF边缘节点规格规格要求中x86_64架构所支持的OS。
版本必须高于2.17。
安装时带宽:
>=10MByte/s
运行时带宽:
>=5Mbit/s
3
专业版
8
1
>=8
>=32
>=350
>=100
>=400
>=200
8
API网关边缘实例(基础版)
5
1
>=4
>=8
>=350
>=100
>=200
>=200
5
API网关边缘实例(专业版)
6
1
>=4
>=8
>=350
>=100
>=200
>=200
6
API网关边缘实例(企业版)
7
1
>=4
>=8
>=350
>=100
>=200
>=200
7
API网关边缘实例(铂金版)
9
1
>=8
>=16
>=350
>=100
>=200
>=200
9
表2 业务流增强版 实例规格
虚拟机数量(台)
VIP
CPU
内存(G)
磁盘io(读+写)(MB/s)
系统盘(G)
数据盘(G)
日志盘(G)
系统架构
Glibc版本
网络带宽性能
IEF容器应用(个)
基础版(站点规格为简易型)
5
1
>=16
>=64
>=350
>=100
>=300
>=200
仅支持x86_64架构,具体支持的OS请参见IEF边缘节点规格规格要求中x86_64架构所支持的OS。
版本必须高于2.17。
安装时带宽:
>=10MByte/s
运行时带宽:
>=5Mbit/s
26
专业版(站点规格为标准型)
10
1
>=8
>=32
>=350
>=100
>=400
>=200
29
规划的VIP需要与边缘节点的前两台虚拟机进行绑定。例如,编号为node-xxxx-000和node-xxxx-001或node-xxxx-001和node-xxxx-002的两台虚拟机。
- 安装Docker。
Docker版本必须高于17.06,推荐使用18.06.3版本。请勿使用18.09.0版本Docker,如果已使用此版本,请尽快升级。离线安装包获取与安装请参考离线版软件获取与安装方法。
Docker安装完成后,可以执行docker -v命令检查Docker是否安装正常,如果回显如下则说明安装正常。
# docker -v Docker version 18.06.3, build 48a66213fee
- 安装Haveged。
- 私网安装:离线安装包获取与安装请参考离线版软件获取与安装方法。
安装Haveged(根据实际版本修改):rpm -ivh haveged-1.9.13-3.oe1.x86_64.rpm
开机启动:systemctl enable haveged
重启:service haveged restart
查看服务状态:service haveged status
- 私网安装:离线安装包获取与安装请参考离线版软件获取与安装方法。
- 磁盘挂载。
- 以root用户登录待挂载虚拟机。
- 查看磁盘情况。
fdisk -l
系统显示如下类似信息表示系统有两个磁盘,一个是空间大小300G盘符为/dev/vdb的磁盘,一个是空间大小200G盘符为/dev/vdc的磁盘,需将300G磁盘/dev/vdb挂载到/opt/roma/data目录,将200G磁盘/dev/vdc挂载到/opt/roma/logs目录下。
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0x1bec7a05 Device Boot Start End Sectors Size Id Type /dev/vda1 * 2048 83886079 83884032 40G 83 Linux Disk /dev/vdb: 300 GiB, 322122547200 bytes, 629145600 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk /dev/vdc: 200 GiB, 214748364800 bytes, 419430400 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes
- 格式化磁盘。
mkfs.ext4 /dev/vdc
- 建立挂载目录。
mkdir -p /opt/roma/logs
- 将磁盘挂载到指定目录。
mount /dev/vdc /opt/roma/logs
- 配置磁盘分区自动挂载。
增加如下配置:
/dev/vdb /opt/roma/data ext4 defaults 0 0 /dev/vdc /opt/roma/logs ext4 defaults 0 0
- 查看挂载是否成功。
系统显示如下内容表示挂载成功。
Filesystem Size Used Avail Use% Mounted on devtmpfs 63G 0 63G 0% /dev tmpfs 63G 0 63G 0% /dev/shm tmpfs 63G 8.6M 63G 1% /run tmpfs 63G 0 63G 0% /sys/fs/cgroup /dev/vda1 40G 7.9G 30G 22% / tmpfs 13G 0 13G 0% /run/user/0 /dev/vdb 295G 65M 280G 1% /opt/roma/data /dev/vdc 196G 61M 186G 1% /opt/roma/logs
- 时间同步。
边缘节点时间需要与UTC+8时间保持一致,否则会导致边缘节点的监控数据、日志上传出现偏差。您可以选择合适的NTP服务器进行时间同步,从而保持时间一致。配置方法可参考如何同步NTP服务器中的操作步骤。
离线安装包获取与安装请参考离线版软件获取与安装方法。
- 检查hosts环境信息是否配置了hostname的地址映射。
在操作系统中执行hostname和cat /etc/hosts,如果回显了hostname的地址映射,说明配置正常,否则请在hosts文件中添加hostname配置。
例如,执行hostname命令后显示虚拟机名称为machine001,则需要在该虚拟机的/etc/hosts配置文件中添加如下配置:
127.0.0.1 machine001 machine001
- 检查是否开放ROMA Site侧需要的端口。
用户准备好虚拟机资源后,需要检查虚拟机是否开放了各组件需要的端口,具体端口信息如下:
其中,80、443、9092、9094、1883、8443为对外服务端口,7000、40001-40010为与华为云通信端口,需要保证这些端口对外互通,其余端口保持内部互通。
表3 各组件开放的端口 组件
端口
FDI
9101、9011、9031、9051、9061、9071、9111、9121、9131、9141、9171、9271、9281、9351、9451、9461、9471、9561、9571、9611、9641、9642、9651、9652、9681、9682、9802、9541、9551、9581、9591
APIC
80、443、1026、1027、22379、8086、8084、2379、4001、2380、6800、26800
MQS
9091、9092/9093、9094、2181、3888、2888、8001、8002、8003、9080、 12345、12346、9776、20911、19091、19092、19094、12181、13888、12888、18001
LINK
7443、30006、1883、8443、8491
ABM
13003、13204、13103、12003、14003、9103、11003、15003、9200、6899、26899
BFS
30608、30618
以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS为增强版可选组件。
- 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。
离线版软件获取与安装方法
获取软件RPM离线安装包需要找一台能正常访问外网且能使用yum源的机器,通过下面的方法获取。
- 获取Docker安装包及依赖。
- 更新yum缓存。
yum makecache fast
- 下载所有依赖到指定路径下。
mkdir -p /home/dockerrpm/ yum intsall docker-ce --downloadonly --downloaddir=/home/dockerrpm/
- 将Docker安装包及依赖打包。
tar zcvf docker-ce-20.tar.gz /home/dockerrpm/*
- 上传到所有边缘节点后解压安装。
tar zxvf docker-ce-20.tar.gz cd dockerrpm rpm -ivh *.rpm --force --nodeps
- 更新yum缓存。