更新时间:2024-10-30 GMT+08:00
分享

产品规格差异

ROMA Connect实例和各功能组件的产品规格如下所示。建议在规格定义的指标范围内使用ROMA Connect,超规格使用将容易引起系统异常等问题。

实例规格

ROMA Connect服务支持的实例规格如下。

入门版实例为白名单特性,需要联系技术支持开通后方可使用,且仅支持在华北-北京四区域开通。入门版实例不支持设备集成能力,仅支持数据集成、服务集成、消息集成能力。

表1 实例规格

实例规格

支持的系统数

支持的连接数

使用建议

入门版

5个以下

10个

一般用于小型企业

基础版

5~10个

25个

一般用于小型企业

专业版

10~20个

80个

一般用于中小型企业

企业版

20~30个

200个

一般用于中大型企业

铂金版

30个以上

800个

一般用于大型企业

连接数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如数据集成任务数、API数和消息Topic数)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。

  • 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。
  • 连接数说明业务系统和ROMA Connect的交互即为连接,使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。
    表2 连接数说明

    功能

    对应关系

    数据集成

    2个运行状态的数据集成任务占用1个连接。

    服务集成

    • 10个托管类API(非自定义后端发布生成的API)占用1个连接。
    • 5个函数后端或数据后端占用1个连接。

    消息集成

    3个消息Topic占用1个连接。

    设备集成

    1000个设备占用1个连接。

数据集成规格

如下为实例中单个任务运行时各数据源的读写性能,仅供参考。实际单个任务运行的性能还受网络带宽、数据源服务端性能等因素影响。在实例中有多个任务并发运行的情况下,受限于多个任务抢占CPU、内存等资源,任务的性能相比单个任务运行的性能会有不同程度的下降。

  • 普通任务

    ROMA Connect支持的数据集成普通任务中不同类型数据源的性能参考如下所示。

    数据源类型

    读速率(MB/S)

    写速率(MB/S)

    MRS Hive

    5

    2

    MRS HDFS

    5

    2

    DWS

    5

    2

    MySQL

    6

    3

    Oracle

    6

    2

    Kafka

    10

    8

    SQL Server

    6

    3

    PostgreSQL

    4

    2

    Gauss100

    6

    3

    FTP

    5

    3

    OBS

    6

    3

    MongoDB

    0.8

    0.3

    Redis

    /

    2

    HANA

    6

    3

    API

    /

    /

    • DWS数据源作为目标端时,目标表里的数据量越多,写入速率会越慢。
    • API数据源作为源端和目标端时,读写速率与服务端API响应速度直接相关。
    • 性能测试使用单条1KB消息进行测试,实际使用场景中若单条消息小于1KB,按照1KB计算速率。
  • 组合实时任务(CDC)

    由于CDC的实现与数据源端的Redo日志强相关,实际单任务运行的性能,受整体源端Redo日志大小影响较大,在极端情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。

    ROMA Connect支持的数据集成组合任务性能参考如下所示。

    表3 Oracle到DWS的实时数据集成

    测试条件

    测试结果

    表字段数(列)

    插入数据总量(条)

    单条数据大小(KB)

    端到端速率(MB/S)

    12

    100万

    1

    1.2

    50

    100万

    1

    0.8

    100

    100万

    1

    0.4

    200

    100万

    1

    0.2

    当所选字段中包含BLOB、CLOB或BYTEA类型的数据时,由于处理机制的原因,性能可能会大幅下降,请在同步此类字段时务必谨慎。

服务集成规格

ROMAConnect实例支持的服务集成规格TPS受多种因素影响,如应答大小、响应时延、是否开启插件等,下述规格为在实验室环境特定条件中测试得出,不能作为真实业务性能承诺基线,具体业务使用的性能规格应以实际测试为准。

服务集成规格在以下条件中测试得出:

  • 连接协议:https
  • 连接类型:长连接
  • 并发数:大于等于1000
  • 认证方式:无认证
  • 返回数据大小:1KB
  • 带宽:10MB
  • 后端响应平均时延:小于等于10ms
表4 服务集成规格

实例规格

API转发(TPS)

函数API(TPS)

数据API(TPS)

入门版

2000

200

200

基础版

4000

400

400

专业版

6000

600

600

企业版

8000

800

800

铂金版

10000

1000

1000

带宽10MB是满足最小实例规格性能所需要的带宽大小,随着实例规格和请求数量、请求体大小、响应体大小变化需要动态向上调整。

消息集成规格

开源兼容性说明:ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本,兼容开源Kafka的API,具备原生Kafka的所有消息处理特性。

ROMA Connect实例支持的消息集成规格如下,选择规格时建议预留30%的带宽,确保您的应用运行更稳定。

消息集成规格在以下条件中测试得出:

  • 连接方式:内网连接
  • 认证方式:无
  • 数据大小:1KB
  • 磁盘类型:SSD
表5 消息集成规格

实例规格

消息集成带宽

TPS(高吞吐场景)

TPS(同步复制场景)

分区数上限

存储空间

规格说明

入门版

100MB/s

6万

3万

600

600G

Kafka客户端连接数在1500以内,消费组个数在30个以内,业务流量为70MB/s以内时推荐选用。

基础版

100MB/s

10万

6万

600

600G

Kafka客户端连接数在3000以内,消费组个数在60个以内,业务流量为70MB/s以内时推荐选用。

专业版

300MB/s

30万

15万

900

1200G

Kafka客户端连接数在10000以内,消费组个数在300个以内,业务流量为210MB/s以内时推荐选用。

企业版

600MB/s

60万

30万

1800

2400G

Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为420MB/s以内时推荐选用。

铂金版

1200MB/s

120万

40万

1800

4800G

Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为840MB/s以内时推荐选用。

设备集成规格

ROMA Connect支持设备使用3.1和3.1.1版本的MQTT协议接入,实例支持的设备集成规格如下。

设备集成规格在以下条件中测试得出:

  • 上行消息
    • 连接方式:内网连接
    • 消息大小:500B
    • 消息目的端:MQS Topic
  • 下行消息
    • 连接方式:内网连接
    • 消息大小:500B
    • 发送方式:通过控制台提供的Demo,调用数据面API下发消息
表6 设备集成规格

实例规格

上行消息

下行消息

基础版

在线设备2万时,上行消息10000(TPS)

在线设备2万时,下行消息1000(TPS)

专业版

在线设备4万时,上行消息20000(TPS)

在线设备4万时,下行消息1500(TPS)

企业版

在线设备10万时,上行消息40000(TPS)

在线设备10万时,下行消息2000(TPS)

铂金版

在线设备45万时,上行消息100000(TPS)

在线设备45万时,下行消息5000(TPS)

相关文档