# 参考：CDM性能实测数据
#### 背景说明
文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。
#### 环境信息
- CDM集群为xlarge规格，2.9.1 200版本。
- 性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
- 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、10、20、30、50时，最大的抽取/写入速率。
 
#### 数据源抽取写入性能实测数据
常见数据源的性能实测结果分别如[表1]和[表2]所示。
 表1读取性能实测数据 
| 数据源             | 数据源规格                                                                                                   | 版本                  | 单并发抽取速率（行/s） | 多并发抽取速率（行/s）    |
|:---|:---|:---|:---|:---|
| 云数据库 MySQL      | 8U 32G                                                                                                  | MySQL 5.7           | 42052        | 195313（并发度：40）  |
| Oracle          | 8U 16G                                                                                                  | 19C                 | 18539        | 18706（并发度：10）   |
| MRS Hbase       | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0           | 6296         | 69156（并发度：30）   |
| MRS Hive        | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0           | 22321        | 170068（并发度：30）  |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0           | 138727       | 141468（并发度：20）  |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0           | 125556       | 126990（并发度：10）  |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0           | 120919       | 120919（并发度：10）  |
| DWS             | 8U 16G                                                                                                  | 8.1.1.300           | 13434        | /               |
| DLI             | 16U                                                                                                     | SQL队列               | 71023        | 19290（并发度：20）   |
| MRS Hudi（MOR）   | master 16U64G \*3 node 8U64G \*3  | MRS 3.2.0           | 75187        | 467289（并发度：30）  |
| MRS Hudi（COW）   | master 16U64G \*3 node 8U64G \*3 | MRS 3.2.0           | 84033        | 485436（并发度：30）  |
| Clickhouse      | node 8U32G \* 2                                                                                         | clickhouse 22.3.2.2 | 187265       | /               |
| Elasticsearch   | 4U8G \*6                                                                                                | elasticsearch7.10.2 | 28752        | /               |
| RDS（Postgresql） | 4U32G（主备模式）                                                                                             | Postgresql 13.12    | 128865       | 1351351（并发度：30） |
   
 表2写入性能实测数据 
| 数据源             | 数据源规格                                                                                                   | 版本                   | 单并发写入速率 （行/s） | 多并发写入速率 （行/s） |
|:---|:---|:---|:---|:---|
| 云数据库 MySQL      | 8U 32G                                                                                                  | MySQL 5.7            | 2658                                                                                 | /                                                                                    |
| Oracle          | 8U 16G                                                                                                  | 19C                  | /                                                                                    | /                                                                                    |
| MRS Hbase       | master 16U64G \*3 node 8U32G \*3  | MRS 3.1.0            | 3959                                                                                 | 4120（并发度：10）                                                                         |
| MRS Hive        | master 16U64G \*3 node 8U32G \*3 | MRS 3.1.0            | 25813                                                                                | 26882（并发度：10）                                                                        |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3  | MRS 3.1.0            | 65075                                                                                | 90155（并发度：10）                                                                        |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3  | MRS 3.1.0            | 86248                                                                                | 86248（并发度：1）                                                                         |
| MRS HDFS（二进制文件） | master 16U64G \*3 node 8U32G \*3  | MRS 3.1.0            | 76687                                                                                | 76687（并发度：1）                                                                         |
| DWS             | 8U 16G                                                                                                  | 8.1.1.300            | 26624                                                                                | 27902（并发度：10）                                                                        |
| DLI             | 16U                                                                                                     | SQL队列                | 15211                                                                                | 18430（并发度：10）                                                                        |
| MRS Hudi（MOR）   | master 16U64G \*3 node 8U64G \*3    | MRS 3.2.0            | 16345                                                                                | 183150（并发度：10）                                                                       |
| MRS Hudi（COW）   | master 16U64G \*3 node 8U64G \*3   | MRS 3.2.0            | 21088                                                                                | 88183（并发度：20）                                                                        |
| Clickhouse      | node 8U32G \* 2                                                                                         | clickhouse 22.3.2.2  | 93984                                                                                | /                                                                                    |
| Elasticsearch   | 4U8G \*6                                                                                                | elasticsearch 7.10.2 | 22271                                                                                | /                                                                                    |
| RDS（Postgresql） | 4U32G（主备模式）                                                                                             | Postgresql 13.12     | 34746                                                                                | 153374（并发度：10）                                                                       |