参考:CDM性能实测数据
背景说明
文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。
环境信息
- CDM集群为xlarge规格,2.9.1 200版本。
- 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
- 多并发抽取/写入速率,定义为分别取作业抽取并发数为1、10、20、30、50时,最大的抽取/写入速率。
数据源抽取写入性能实测数据
数据源 | 数据源规格 | 版本 | 单并发抽取速率(行/s) | 多并发抽取速率(行/s) |
|---|---|---|---|---|
云数据库 MySQL | 8U 32G | MySQL 5.7 | 42052 | 195313(并发度:40) |
Oracle | 8U 16G | 19C | 18539 | 18706(并发度:10) |
MRS Hbase | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 6296 | 69156(并发度:30) |
MRS Hive | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 22321 | 170068(并发度:30) |
MRS HDFS(二进制文件) | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 138727 | 141468(并发度:20) |
125556 | 126990(并发度:10) | |||
120919 | 120919(并发度:10) | |||
DWS | 8U 16G | 8.1.1.300 | 13434 | / |
DLI | 16U | SQL队列 | 71023 | 19290(并发度:20) |
MRS Hudi(MOR) | master 16U64G *3 node 8U64G *3 | MRS 3.2.0 | 75187 | 467289(并发度:30) |
MRS Hudi(COW) | master 16U64G *3 node 8U64G *3 | MRS 3.2.0 | 84033 | 485436(并发度:30) |
Clickhouse | node 8U32G * 2 | clickhouse 22.3.2.2 | 187265 | / |
Elasticsearch | 4U8G *6 | elasticsearch7.10.2 | 28752 | / |
RDS(Postgresql) | 4U32G(主备模式) | Postgresql 13.12 | 128865 | 1351351(并发度:30) |
数据源 | 数据源规格 | 版本 | 单并发写入速率 (行/s) | 多并发写入速率 (行/s) |
|---|---|---|---|---|
云数据库 MySQL | 8U 32G | MySQL 5.7 | 2658 | / |
Oracle | 8U 16G | 19C | / | / |
MRS Hbase | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 3959 | 4120(并发度:10) |
MRS Hive | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 25813 | 26882(并发度:10) |
MRS HDFS(二进制文件) | master 16U64G *3 node 8U32G *3 | MRS 3.1.0 | 65075 | 90155(并发度:10) |
86248 | 86248(并发度:1) | |||
76687 | 76687(并发度:1) | |||
DWS | 8U 16G | 8.1.1.300 | 26624 | 27902(并发度:10) |
DLI | 16U | SQL队列 | 15211 | 18430(并发度:10) |
MRS Hudi(MOR) | master 16U64G *3 node 8U64G *3 | MRS 3.2.0 | 16345 | 183150(并发度:10) |
MRS Hudi(COW) | master 16U64G *3 node 8U64G *3 | MRS 3.2.0 | 21088 | 88183(并发度:20) |
Clickhouse | node 8U32G * 2 | clickhouse 22.3.2.2 | 93984 | / |
Elasticsearch | 4U8G *6 | elasticsearch 7.10.2 | 22271 | / |
RDS(Postgresql) | 4U32G(主备模式) | Postgresql 13.12 | 34746 | 153374(并发度:10) |

