全部文档
云数据迁移 CDM
云数据迁移 CDM
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
产品介绍
图解云数据迁移
什么是云数据迁移
产品优势
支持的数据源
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
应用场景
基本概念
区域和可用区
迁移原理
与其他云服务的关系
约束与限制
计费说明
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
配额说明
权限管理
快速入门
场景介绍
步骤1：创建集群
步骤2：创建连接
步骤3：创建并执行作业
步骤4：查看作业运行结果
入门实践
用户指南
IAM权限管理
创建IAM用户并授权使用CDM
创建CDM自定义策略
支持的数据源
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
管理集群
创建集群
解绑/绑定集群的EIP
重启集群
删除集群
下载集群日志
查看集群基本信息/修改集群配置
管理集群标签
查看监控指标
支持的监控指标
设置告警规则
查看监控指标
管理连接
新建连接
管理驱动
管理Agent
管理集群配置
配置OBS连接
配置PostgreSQL/SQLServer连接
配置数据仓库服务（DWS）连接
配置云数据库MySQL/MySQL数据库连接
配置Oracle数据库连接
配置DLI连接
配置Hive连接
配置HBase连接
配置HDFS连接
配置FTP/SFTP连接
配置Redis连接
配置DDS连接
配置CloudTable连接
配置MongoDB连接
配置Cassandra连接
配置DIS连接
配置Kafka连接
配置DMS Kafka连接
配置云搜索服务（CSS）连接
配置Elasticsearch连接
配置达梦数据库 DM连接
配置SAP HANA连接
配置分库连接
配置MRS Hudi连接
配置MRS ClickHouse连接
配置神通（ST）连接
管理作业
新建表/文件迁移作业
新建整库迁移作业
配置作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置PostgreSQL/SQL Server源端参数
配置DWS源端参数
配置SAP HANA源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置DIS源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch/云搜索服务源端参数
配置MRS Hudi源端参数
配置MRS ClickHouse源端参数
配置达梦数据库 DM源端参数
配置神通（ST）源端参数
配置作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置MySQL/SQL Server/PostgreSQL目的端参数
配置Oracle目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置Elasticsearch/云搜索服务（CSS）目的端参数
配置DLI目的端参数
配置MRS Hudi目的端参数
配置MRS ClickHouse目的端参数
配置MongoDB目的端参数
配置字段映射
配置定时任务
作业配置管理
管理单个作业
批量管理作业
查看审计日志
如何查看审计日志
支持云审计的关键操作
关键操作指导
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
自动建表原理介绍
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
最佳实践
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
通过数据开发使用参数传递灵活调度CDM作业
通过数据开发实现数据增量迁移
通过CDM节点批量创建分表迁移作业
案例：贸易数据统计与分析
场景介绍
操作流程概述
使用CDM上传数据到OBS
上传存量数据
上传增量数据
分析数据
案例：车联网大数据业务上云
场景介绍
迁移准备
CDM迁移近一个月的数据
DES迁移一个月前的历史数据
MRS中恢复HBase表
性能白皮书
迁移作业原理
性能调优
参考：作业分片维度
参考：CDM性能实测数据
安全白皮书
云数据迁移安全简介
云数据迁移安全结论
API参考
使用前必读
概述
终端节点
项目ID和账号ID
基本概念
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
API
集群管理
查询集群详情
删除集群
重启集群
启动集群
停止集群（待下线）
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis连接
Kafka连接
DIS连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
CloudTable OpenTSDB连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为DDS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
作业任务参数说明
权限及授权项说明
附录
状态码
错误码
SDK参考
SDK概述
常见问题
通用类
CDM与其他数据迁移服务有什么区别，如何选择？
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM未使用数据传输功能时，是否会计费？
已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？
如何查看套餐包的剩余时长？
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
CDM可以跨账户使用吗？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
CDM集群可以关机吗？
功能类
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如果HANA集群只有部分节点和CDM集群网络互通，应该如何配置连接？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM是否支持参数或者变量？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
CDM是否支持集群关机功能？
如何使用表达式方式获取当前时间？
在创建迁移作业时，where语句参数中的时间格式是怎样的？
CDM作业可以将源表中的字段注释迁移到目标端表吗？
故障处理类
日志提示解析日期格式失败时怎么处理？
字段映射界面无法显示所有列怎么处理？
CDM迁移数据到DWS时如何选取分布列？
迁移到DWS时出现value too long for type character varying怎么处理？
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡住怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶?
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办?
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
MySQL迁移时报错：invalid input syntax for integer: "true"
作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
整库迁移到Hive，报错Identifier name is too long如何处理？
迁移数据到DLI时有数据丢失怎么处理？
创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
作业从旧集群导出，再导入到新的集群失败怎么解决？
迁移HDFS文件，报错无法获取块怎么处理？
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？
CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
CDM迁移DWS数据报错Read timedout怎么处理？
CDM集群Hive连接无法查询库和表的内容
创建FusionInsight HDFS连接报错get filesystem怎么解决？
Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
作业配置添加字段，MongoDB字段映射存在问题
DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
迁移MySql到DWS，TINYINT类型迁移报错
数据迁移前后数据量不一致是什么问题？
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
CSV数据类型插入MySQL报错invalid utf-8 charater string ''
定时任务失败，检查连接器连接存在问题
脏数据导致CSV数据类型问题插入MySQL报错
写ES报timeout waiting for connection from pool错误怎么解决？
Oracle迁移到DWS报错ORA-01555
FTP测试连通性失败，报服务器内部错误怎么解决？
CDM连接RDS-Mysql ，除root用户外，其他用户都报错
MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？
CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？
当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？
RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常
Hudi源端案例库
读Hudi作业长时间出于BOOTING状态怎么解决？
读Hudi作业字段映射多了一列col，作业执行失败怎么处理？
Hudi目的端案例库
Hudi表自动建表报错：schema不匹配，建表失败怎么办？
启动作业后，Hudi作业长时间处于BOOTING状态，然后作业失败，日志报错Read Timeout怎么解决？
作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？
执行作业后（非失败重试），作业执行卡Running，但是数据写入行数一直显示为0如何处理？
执行Spark SQL写入Hudi失败怎么办？
作业执行过程中，由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败怎么处理？
文档下载
通用参考
产品术语
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限