云数据迁移 CDM
云数据迁移 CDM
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
产品介绍
图解云数据迁移
什么是云数据迁移
产品优势
支持的数据源
支持的数据源（2.10.0.300）
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
应用场景
基本概念
区域和可用区
迁移原理
与其他云服务的关系
约束与限制
计费说明
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
配额说明
权限管理
快速入门
场景介绍
步骤1：创建集群
步骤2：创建连接
步骤3：创建并执行作业
步骤4：查看作业运行结果
入门实践
用户指南
IAM权限管理
创建IAM用户并授权使用CDM
创建CDM自定义策略
支持的数据源
支持的数据源（2.10.0.300）
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
创建并管理CDM集群
创建CDM集群
解绑/绑定CDM集群的EIP
重启CDM集群
删除CDM集群
下载CDM集群日志
查看并修改CDM集群配置
管理集群标签
管理并查看CDM监控指标
CDM支持的监控指标
设置CDM告警规则
查看CDM监控指标
在CDM集群中创建连接
创建CDM与数据源之间的连接
配置连接参数
OBS连接参数说明
PostgreSQL/SQLServer连接参数说明
数据仓库服务（DWS）连接参数说明
云数据库MySQL/MySQL数据库连接参数说明
Oracle数据库连接参数说明
DLI连接参数说明
Hive连接参数说明
HBase连接参数说明
HDFS连接参数说明
FTP/SFTP连接参数说明
Redis连接参数说明
DDS连接参数说明
CloudTable连接参数说明
MongoDB连接参数说明
Cassandra连接参数说明
DIS连接参数说明
Kafka连接参数说明
DMS Kafka连接参数说明
云搜索服务（CSS）连接参数说明
Elasticsearch连接参数说明
达梦数据库 DM连接参数说明
SAP HANA连接参数说明
分库连接参数说明
MRS Hudi连接参数说明
MRS ClickHouse连接参数说明
神通（ST）连接参数说明
LogHub（SLS）连接参数说明
Doris连接参数说明
YASHAN连接参数说明
上传CDM连接驱动
新建Hadoop集群配置
在CDM集群中创建作业
新建表/文件迁移作业
新建整库迁移作业
配置CDM作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置PostgreSQL/SQL Server源端参数
配置DWS源端参数
配置SAP HANA源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置DIS源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch/云搜索服务源端参数
配置MRS Hudi源端参数
配置MRS ClickHouse源端参数
配置达梦数据库 DM源端参数
配置LogHub（SLS）源端参数
配置神通（ST）源端参数
配置Doris源端参数
配置YASHAN源端参数
配置CDM作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置MySQL/SQL Server/PostgreSQL目的端参数
配置Oracle目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置Elasticsearch/云搜索服务（CSS）目的端参数
配置DLI目的端参数
配置MRS Hudi目的端参数
配置MRS ClickHouse目的端参数
配置MongoDB目的端参数
配置Redis目的端参数
配置Doris目的端参数
配置CDM作业字段映射
配置CDM作业定时任务
CDM作业配置管理
管理单个CDM作业
批量管理CDM作业
查看审计日志
如何查看审计日志
支持云审计的关键操作
关键操作指导
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
自动建表原理介绍
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
最佳实践
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
通过数据开发使用参数传递灵活调度CDM作业
通过数据开发实现数据增量迁移
通过CDM节点批量创建分表迁移作业
贸易数据极简上云与统计分析
贸易数据上云场景介绍
操作流程概述
使用CDM上传数据到OBS
上传存量数据
上传增量数据
分析数据
车联网大数据零丢失搬迁入湖
车联网大数搬迁入湖简介场景介绍
迁移准备
CDM迁移近一个月的数据
DES迁移一个月前的历史数据
MRS中恢复HBase表
性能白皮书
迁移作业原理
性能调优
参考：作业分片维度
参考：CDM性能实测数据
安全白皮书
云数据迁移安全简介
云数据迁移安全结论
API参考
使用前必读
概述
终端节点
项目ID和账号ID
基本概念
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
API
集群管理
查询集群详情
删除集群
查询所有可用区
查询支持的版本
查询版本规格
查询规格详情
查询所有集群的企业项目ID
查询集群的企业项目ID
查询集群实例信息
修改集群
重启集群
启动集群
停止集群（待下线）
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis连接
Kafka连接
DIS连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
CloudTable OpenTSDB连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为DDS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
作业任务参数说明
权限及授权项说明
附录
状态码
错误码
SDK参考
SDK概述
常见问题
通用类
CDM与其他数据迁移服务有什么区别，如何选择？
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM未使用数据传输功能时，是否会计费？
已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？
如何查看套餐包的剩余时长？
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
CDM可以跨账户使用吗？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
CDM集群可以关机吗？
功能类
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如何解决HANA集群只有部分节点和CDM集群网络互通？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM是否支持参数或者变量？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
CDM是否支持集群关机功能？
如何使用表达式方式获取当前时间？
在创建迁移作业时，where语句参数中的时间格式是怎样的？
CDM作业可以将源表中的字段注释迁移到目标端表吗？
如何查询数据连接创建人？
故障处理类
日志提示解析日期格式失败时怎么处理？
字段映射界面无法显示所有列怎么处理？
CDM迁移数据到DWS时如何选取分布列？
迁移到DWS时出现value too long for type character varying怎么处理？
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡顿怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
MySQL迁移时报错：invalid input syntax for integer: "true"
作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
整库迁移到Hive，报错Identifier name is too long如何处理？
迁移数据到DLI时有数据丢失怎么处理？
创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
作业从旧集群导出，再导入到新的集群失败怎么解决？
迁移HDFS文件，报错无法获取块怎么处理？
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？
CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
CDM迁移DWS数据报错Read timedout怎么处理？
CDM集群Hive连接无法查询库和表的内容
创建FusionInsight HDFS连接报错get filesystem怎么解决？
Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
作业配置添加字段，MongoDB字段映射存在问题
DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
迁移MySql到DWS，TINYINT类型迁移报错
数据迁移前后数据量不一致是什么问题？
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
CSV数据类型插入MySQL报错invalid utf-8 charater string ''
定时任务失败，检查连接器连接存在问题
脏数据导致CSV数据类型问题插入MySQL报错
写ES报timeout waiting for connection from pool错误怎么解决？
Oracle迁移到DWS报错ORA-01555
FTP测试连通性失败，报服务器内部错误怎么解决？
CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？
MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？
CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？
当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？
RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常
通过json方式导入的作业，sql server迁移到hive，执行作业报错
Hudi源端的作业长时间处于BOOTING状态怎么解决？
Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？
Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？
Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？
Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？
Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？
Doris测试连接失败超时或者报vpc 或者安全组是否连通?
Doris测试连接报unrecogized ssl message时怎么办？
Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull怎么办？
Doris连接报错 Invalid type or not suppprted type怎么办？
Doris写入数据时报错怎么办？
文档下载
通用参考
产品术语
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限