- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务(DWS)连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务(CSS)连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通(ST)连接参数说明
- LogHub(SLS)连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub(SLS)源端参数
- 配置神通(ST)源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移?
- 是否支持字段转换?
- Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
- 数据源为Hive时支持哪些数据格式?
- 是否支持同步作业到其他集群?
- 是否支持批量创建作业?
- 是否支持批量调度作业?
- 如何备份CDM作业?
- 如何解决HANA集群只有部分节点和CDM集群网络互通?
- 如何使用Java调用CDM的Rest API创建数据迁移作业?
- 如何将云下内网或第三方云上的私网与CDM连通?
- CDM是否支持参数或者变量?
- CDM迁移作业的抽取并发数应该如何设置?
- CDM是否支持动态数据实时迁移功能?
- CDM是否支持集群关机功能?
- 如何使用表达式方式获取当前时间?
- 在创建迁移作业时,where语句参数中的时间格式是怎样的?
- CDM作业可以将源表中的字段注释迁移到目标端表吗?
-
故障处理类
- 日志提示解析日期格式失败时怎么处理?
- 字段映射界面无法显示所有列怎么处理?
- CDM迁移数据到DWS时如何选取分布列?
- 迁移到DWS时出现value too long for type character varying怎么处理?
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理?
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行?
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理?
- Hive迁移作业长时间卡顿怎么办?
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
- MySQL迁移时报错“JDBC连接超时”怎么办?
- 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
- 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”?
- 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决?
- 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理?
- 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理?
- MySQL迁移时报错:invalid input syntax for integer: "true"
- 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
- 整库迁移到Hive,报错Identifier name is too long如何处理?
- 迁移数据到DLI时有数据丢失怎么处理?
- 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因?
- 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理?
- 作业从旧集群导出,再导入到新的集群失败怎么解决?
- 迁移HDFS文件,报错无法获取块怎么处理?
- CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
- 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败?
- CDM迁移DWS数据报错Read timedout怎么处理?
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决?
- Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
- 作业配置添加字段,MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理?
- 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理?
- 迁移MySql到DWS,TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题?
- 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错
- 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败,检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决?
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败,报服务器内部错误怎么解决?
- CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办?
- 通用参考
链接复制成功!
基本概念
CDM集群
CDM集群是指用户拥有的CDM实例,一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群,例如为财务部门和采购部门各创建一个CDM实例,实现数据访问权限的隔离。
本地环境
本地环境是指用户自建或者租用的IDC中的数据存储系统,或者第三方云环境中的数据存储系统,包括关系型数据库以及文件系统。
本地数据
本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。
连接器
连接器是CDM内置的连接某种数据源所需的对象模板,目前CDM支持连接OBS、MRS、数据库等多种连接器,并可扩展增加新的连接器。
连接
连接是用户基于连接器创建的用于连接某个具体数据源的对象。
创建连接时需要指定连接的名称、连接器类型,以及数据源的地址、鉴权信息,例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。
一个连接被创建后可以被多个作业引用,且既可以作为源连接,也可以作为目的连接。
作业
作业是指用户创建的数据迁移任务,迁移特定数据源的数据到另一特定数据源。创建时需要指定源连接、目的连接、数据映射规则。
源端作业配置
在创建作业的过程中,由源连接指定抽取哪个数据源的数据,不同源连接对应的源端作业参数不同,例如从哪个表或哪个目录导出数据,这些信息在源端作业配置中指定。
目的端作业配置
在创建作业的过程中,由目的连接指定加载数据到哪个数据源,不同目的连接对应的目的端作业参数不同,例如将数据导入到哪个表或哪个目录,这些信息在目的端作业配置中指定。
字段映射
在创建作业的过程中,尤其是异构数据源之间的迁移作业,一般需要配置源端和目的端数据源之间的对应关系,例如字段对应、字段类型对应,这个过程在CDM中称为字段映射。
账号
当您首次登录云时注册的账号,该账号是您的云资源归属、资源使用计费的主体,对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、创建IAM用户、分配IAM用户权限等。账号统一接收所有IAM用户进行资源操作时产生的费用账单。账号在登录控制台时,使用“账号登录”方式登录。
IAM用户
由账号在IAM中创建的用户,类似于子账号,具有身份凭证(密码和访问密钥),可以使用自己单独的用户名和密码通过控制台或者API访问云服务。IAM用户根据账号授予的权限,帮助账号管理资源。IAM用户不拥有资源,不进行独立的计费,这些IAM用户的权限和资源由所属账号统一控制和付费。IAM用户在登录控制台登录时,使用“IAM用户登录”方式登录。

用户组
用户组是IAM用户的集合,IAM用户需要加入特定用户组后,才具备对应的权限,否则无法访问您账号中的任何资源或是云服务。一个IAM用户可以加入多个用户组,以获得不同的权限。
“admin”为系统缺省提供的用户组,具有所有云服务资源的操作权限,将IAM用户加入该用户组后,可以操作并使用所有云资源,包括但不限于创建用户组及IAM用户、修改用户组权限、管理云资源等。
策略与授权
策略是以JSON格式描述一组权限集的语言,它可以精确地描述被授权的资源集和操作集。包括系统策略和自定义策略两种:
- 系统策略是IAM预置的策略,您可以使用但不能修改。
- 若系统策略不满足授权要求,您可以创建自定义策略,自由搭配需要授予的权限集。
通过给用户组授予策略(包括系统策略和自定义策略),用户组中的IAM用户就能获得策略中定义的权限,这一过程称为授权。
例如拥有CDM所有权限的策略(CDM Administrator)内容如下:
{ "Version": "1.1", "Statement": [ { "Action": [ "cdm:*:*", "ecs:*:*", "vpc:*:*", "evs:*:*", "bss:*:*", "CTS:*:*", "eps:*:*", "obs:*:*", "CES:*:*" ], "Effect": "Allow" } ] }
项目
云服务所属的区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源)。
- 以默认项目为单位进行授权时,IAM用户可以访问您账号中该区域的所有资源。
- 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中创建资源,然后以子项目为单位进行授权,这样IAM用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。

身份凭证
身份凭证是识别用户身份的依据,您通过控制台或者API访问云服务时,需要使用身份凭证来通过系统的鉴权认证。身份凭证包括密码和访问密钥,您可以在IAM中管理账号以及IAM用户的身份凭证。
- 密码:常见的身份凭证,密码可以用来登录控制台,还可以调用云服务的API。
- 访问密钥:即AK/SK(Access Key ID/Secret Access Key),调用API的身份凭证,不能用来登录控制台。访问密钥中具有验证身份的签名,通过加密签名验证可以确保机密性、完整性和请求双方身份的正确性。