更新时间:2024-04-03 GMT+08:00

参考:CDM性能实测数据

背景说明

文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。

环境信息

  • CDM集群为xlarge规格,2.9.1 200版本。
  • 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
  • 多并发抽取/写入速率,定义为分别取作业抽取并发数为1、10、20、30、50时,最大的抽取/写入速率。

数据源抽取写入性能实测数据

常见数据源的性能实测结果分别如表1表2所示。

表1 读取性能实测数据

数据源

数据源规格

版本

单并发抽取速率(行/s)

多并发抽取速率(行/s)

云数据库 MySQL

8U 32G

MySQL 5.7

42052

195313(并发度:40)

Oracle

8U 16G

19C

18539

18706(并发度:10)

MRS Hbase

master 16U64G *3

node 8U32G *3

MRS 3.1.0

6296

69156(并发度:30)

MRS Hive

master 16U64G *3

node 8U32G *3

MRS 3.1.0

22321

170068(并发度:30)

MRS HDFS(二进制文件)

master 16U64G *3

node 8U32G *3

MRS 3.1.0

138727

141468(并发度:20)

125556

126990(并发度:10)

120919

120919(并发度:10)

DWS

8U 16G

8.1.1.300

13434

/

DLI

16U

SQL队列

71023

19290(并发度:20)

MRS Hudi(MOR)

master 16U64G *3

node 8U64G *3

MRS 3.2.0

75187

467289(并发度:30)

MRS Hudi(COW)

master 16U64G *3

node 8U64G *3

MRS 3.2.0

84033

485436(并发度:30)

Clickhouse

node 8U32G * 2

clickhouse 22.3.2.2

187265

/

Elasticsearch

4U8G *6

elasticsearch7.10.2

28752

/

RDS(Postgresql)

4U32G(主备模式)

Postgresql 13.12

128865

1351351(并发度:30)

表2 写入性能实测数据

数据源

数据源规格

版本

单并发写入速率

(行/s)

多并发写入速率

(行/s)

云数据库 MySQL

8U 32G

MySQL 5.7

2658

/

Oracle

8U 16G

19C

/

/

MRS Hbase

master 16U64G *3

node 8U32G *3

MRS 3.1.0

3959

4120(并发度:10)

MRS Hive

master 16U64G *3

node 8U32G *3

MRS 3.1.0

25813

26882(并发度:10)

MRS HDFS(二进制文件)

master 16U64G *3

node 8U32G *3

MRS 3.1.0

65075

90155(并发度:10)

86248

86248(并发度:1)

76687

76687(并发度:1)

DWS

8U 16G

8.1.1.300

26624

27902(并发度:10)

DLI

16U

SQL队列

15211

18430(并发度:10)

MRS Hudi(MOR)

master 16U64G *3

node 8U64G *3

MRS 3.2.0

16345

183150(并发度:10)

MRS Hudi(COW)

master 16U64G *3

node 8U64G *3

MRS 3.2.0

21088

88183(并发度:20)

Clickhouse

node 8U32G * 2

clickhouse 22.3.2.2

93984

/

Elasticsearch

4U8G *6

elasticsearch 7.10.2

22271

/

RDS(Postgresql)

4U32G(主备模式)

Postgresql 13.12

34746

153374(并发度:10)