更新时间：2024-05-30 GMT+08:00
数据迁移前后数据量不一致是什么问题？
问题描述
使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。
故障分析
根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。
解决方案
目的端配置为导入开始前“清空全部数据”，验证后，源/目的端条数一致。
父主题： 故障处理类
故障处理类 所有常见问题
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶?
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办?
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
- 整库迁移到Hive，报错Identifier name is too long如何处理？
- 迁移数据到DLI时有数据丢失怎么处理？
- 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
- 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
- 作业从旧集群导出，再导入到新的集群失败怎么解决？
- 迁移HDFS文件，报错无法获取块怎么处理？
- 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？
- CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
- 通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
- CDM迁移DWS数据报错Read timedout怎么处理？
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决？
- Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
- 作业配置添加字段，MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
- 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
- 迁移MySql到DWS，TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题？
- 创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
- 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败，检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决？
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败，报服务器内部错误怎么解决？
- CDM连接RDS-Mysql ，除root用户外，其他用户都报错
- MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？
- CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？
- 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？
- 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？
- RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常
- 通过json方式导入的作业，sql server迁移到hive，执行作业报错
- Hudi源端案例库
- Hudi目的端案例库
more
