参考：CDM性能实测数据
背景说明
文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。
环境信息
- CDM集群为xlarge规格，2.9.1 200版本。
- 性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
- 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、10、20、30、50时，最大的抽取/写入速率。
数据源抽取写入性能实测数据
|
数据源 |
数据源规格 |
版本 |
单并发抽取速率（行/s） |
多并发抽取速率（行/s） |
|---|---|---|---|---|
|
云数据库 MySQL |
8U 32G |
MySQL 5.7 |
42052 |
195313（并发度：40） |
|
Oracle |
8U 16G |
19C |
18539 |
18706（并发度：10） |
|
MRS Hbase |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
6296 |
69156（并发度：30） |
|
MRS Hive |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
22321 |
170068（并发度：30） |
|
MRS HDFS（二进制文件） |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
138727 |
141468（并发度：20） |
|
125556 |
126990（并发度：10） |
|||
|
120919 |
120919（并发度：10） |
|||
|
DWS |
8U 16G |
8.1.1.300 |
13434 |
/ |
|
DLI |
16U |
SQL队列 |
71023 |
19290（并发度：20） |
|
MRS Hudi（MOR） |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
75187 |
467289（并发度：30） |
|
MRS Hudi（COW） |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
84033 |
485436（并发度：30） |
|
Clickhouse |
node 8U32G * 2 |
clickhouse 22.3.2.2 |
187265 |
/ |
|
Elasticsearch |
4U8G *6 |
elasticsearch7.10.2 |
28752 |
/ |
|
RDS（Postgresql） |
4U32G（主备模式） |
Postgresql 13.12 |
128865 |
1351351（并发度：30） |
|
数据源 |
数据源规格 |
版本 |
单并发写入速率 （行/s） |
多并发写入速率 （行/s） |
|---|---|---|---|---|
|
云数据库 MySQL |
8U 32G |
MySQL 5.7 |
2658 |
/ |
|
Oracle |
8U 16G |
19C |
/ |
/ |
|
MRS Hbase |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
3959 |
4120（并发度：10） |
|
MRS Hive |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
25813 |
26882（并发度：10） |
|
MRS HDFS（二进制文件） |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
65075 |
90155（并发度：10） |
|
86248 |
86248（并发度：1） |
|||
|
76687 |
76687（并发度：1） |
|||
|
DWS |
8U 16G |
8.1.1.300 |
26624 |
27902（并发度：10） |
|
DLI |
16U |
SQL队列 |
15211 |
18430（并发度：10） |
|
MRS Hudi（MOR） |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
16345 |
183150（并发度：10） |
|
MRS Hudi（COW） |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
21088 |
88183（并发度：20） |
|
Clickhouse |
node 8U32G * 2 |
clickhouse 22.3.2.2 |
93984 |
/ |
|
Elasticsearch |
4U8G *6 |
elasticsearch 7.10.2 |
22271 |
/ |
|
RDS（Postgresql） |
4U32G（主备模式） |
Postgresql 13.12 |
34746 |
153374（并发度：10） |
