- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务(DWS)连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务(CSS)连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通(ST)连接参数说明
- LogHub(SLS)连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub(SLS)源端参数
- 配置神通(ST)源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移?
- 是否支持字段转换?
- Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
- 数据源为Hive时支持哪些数据格式?
- 是否支持同步作业到其他集群?
- 是否支持批量创建作业?
- 是否支持批量调度作业?
- 如何备份CDM作业?
- 如何解决HANA集群只有部分节点和CDM集群网络互通?
- 如何使用Java调用CDM的Rest API创建数据迁移作业?
- 如何将云下内网或第三方云上的私网与CDM连通?
- CDM是否支持参数或者变量?
- CDM迁移作业的抽取并发数应该如何设置?
- CDM是否支持动态数据实时迁移功能?
- CDM是否支持集群关机功能?
- 如何使用表达式方式获取当前时间?
- 在创建迁移作业时,where语句参数中的时间格式是怎样的?
- CDM作业可以将源表中的字段注释迁移到目标端表吗?
-
故障处理类
- 日志提示解析日期格式失败时怎么处理?
- 字段映射界面无法显示所有列怎么处理?
- CDM迁移数据到DWS时如何选取分布列?
- 迁移到DWS时出现value too long for type character varying怎么处理?
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理?
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行?
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理?
- Hive迁移作业长时间卡顿怎么办?
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
- MySQL迁移时报错“JDBC连接超时”怎么办?
- 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
- 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”?
- 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决?
- 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理?
- 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理?
- MySQL迁移时报错:invalid input syntax for integer: "true"
- 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
- 整库迁移到Hive,报错Identifier name is too long如何处理?
- 迁移数据到DLI时有数据丢失怎么处理?
- 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因?
- 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理?
- 作业从旧集群导出,再导入到新的集群失败怎么解决?
- 迁移HDFS文件,报错无法获取块怎么处理?
- CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
- 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败?
- CDM迁移DWS数据报错Read timedout怎么处理?
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决?
- Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
- 作业配置添加字段,MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理?
- 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理?
- 迁移MySql到DWS,TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题?
- 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错
- 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败,检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决?
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败,报服务器内部错误怎么解决?
- CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办?
- 通用参考
链接复制成功!
参考:CDM性能实测数据
背景说明
文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。
环境信息
- CDM集群为xlarge规格,2.9.1 200版本。
- 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
- 多并发抽取/写入速率,定义为分别取作业抽取并发数为1、10、20、30、50时,最大的抽取/写入速率。
数据源抽取写入性能实测数据
数据源 |
数据源规格 |
版本 |
单并发抽取速率(行/s) |
多并发抽取速率(行/s) |
---|---|---|---|---|
云数据库 MySQL |
8U 32G |
MySQL 5.7 |
42052 |
195313(并发度:40) |
Oracle |
8U 16G |
19C |
18539 |
18706(并发度:10) |
MRS Hbase |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
6296 |
69156(并发度:30) |
MRS Hive |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
22321 |
170068(并发度:30) |
MRS HDFS(二进制文件) |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
138727 |
141468(并发度:20) |
125556 |
126990(并发度:10) |
|||
120919 |
120919(并发度:10) |
|||
DWS |
8U 16G |
8.1.1.300 |
13434 |
/ |
DLI |
16U |
SQL队列 |
71023 |
19290(并发度:20) |
MRS Hudi(MOR) |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
75187 |
467289(并发度:30) |
MRS Hudi(COW) |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
84033 |
485436(并发度:30) |
Clickhouse |
node 8U32G * 2 |
clickhouse 22.3.2.2 |
187265 |
/ |
Elasticsearch |
4U8G *6 |
elasticsearch7.10.2 |
28752 |
/ |
RDS(Postgresql) |
4U32G(主备模式) |
Postgresql 13.12 |
128865 |
1351351(并发度:30) |
数据源 |
数据源规格 |
版本 |
单并发写入速率 (行/s) |
多并发写入速率 (行/s) |
---|---|---|---|---|
云数据库 MySQL |
8U 32G |
MySQL 5.7 |
2658 |
/ |
Oracle |
8U 16G |
19C |
/ |
/ |
MRS Hbase |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
3959 |
4120(并发度:10) |
MRS Hive |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
25813 |
26882(并发度:10) |
MRS HDFS(二进制文件) |
master 16U64G *3 node 8U32G *3 |
MRS 3.1.0 |
65075 |
90155(并发度:10) |
86248 |
86248(并发度:1) |
|||
76687 |
76687(并发度:1) |
|||
DWS |
8U 16G |
8.1.1.300 |
26624 |
27902(并发度:10) |
DLI |
16U |
SQL队列 |
15211 |
18430(并发度:10) |
MRS Hudi(MOR) |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
16345 |
183150(并发度:10) |
MRS Hudi(COW) |
master 16U64G *3 node 8U64G *3 |
MRS 3.2.0 |
21088 |
88183(并发度:20) |
Clickhouse |
node 8U32G * 2 |
clickhouse 22.3.2.2 |
93984 |
/ |
Elasticsearch |
4U8G *6 |
elasticsearch 7.10.2 |
22271 |
/ |
RDS(Postgresql) |
4U32G(主备模式) |
Postgresql 13.12 |
34746 |
153374(并发度:10) |