- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务（DWS）连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务（CSS）连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通（ST）连接参数说明
- LogHub（SLS）连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub（SLS）源端参数
- 配置神通（ST）源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
- SDK参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移？
- 是否支持字段转换？
- Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
- 数据源为Hive时支持哪些数据格式？
- 是否支持同步作业到其他集群？
- 是否支持批量创建作业？
- 是否支持批量调度作业？
- 如何备份CDM作业？
- 如何解决HANA集群只有部分节点和CDM集群网络互通？
- 如何使用Java调用CDM的Rest API创建数据迁移作业？
- 如何将云下内网或第三方云上的私网与CDM连通？
- CDM是否支持参数或者变量？
- CDM迁移作业的抽取并发数应该如何设置？
- CDM是否支持动态数据实时迁移功能？
- CDM是否支持集群关机功能？
- 如何使用表达式方式获取当前时间？
- 在创建迁移作业时，where语句参数中的时间格式是怎样的？
- CDM作业可以将源表中的字段注释迁移到目标端表吗？
- 如何查询数据连接创建人？
-
故障处理类
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
- 整库迁移到Hive，报错Identifier name is too long如何处理？
- 迁移数据到DLI时有数据丢失怎么处理？
- 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
- 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
- 作业从旧集群导出，再导入到新的集群失败怎么解决？
- 迁移HDFS文件，报错无法获取块怎么处理？
- 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？
- CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
- 通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
- CDM迁移DWS数据报错Read timedout怎么处理？
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决？
- Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
- 作业配置添加字段，MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
- 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
- 迁移MySql到DWS，TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题？
- 创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
- 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败，检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决？
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败，报服务器内部错误怎么解决？
- CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？
- MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？
- CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？
- 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？
- 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？
- RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常
- 通过json方式导入的作业，sql server迁移到hive，执行作业报错
- Hudi源端的作业长时间处于BOOTING状态怎么解决？
- Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？
- Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？
- Hudi目的端的作业失败，日志报错Read Timeout怎么解决？
- Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？
- Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？
- Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？
- Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？
- 文档下载
- 通用参考
链接复制成功！
基本概念
CDM集群
CDM集群是指用户拥有的CDM实例，一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群，例如为财务部门和采购部门各创建一个CDM实例，实现数据访问权限的隔离。
本地环境
本地环境是指用户自建或者租用的IDC中的数据存储系统，或者第三方云环境中的数据存储系统，包括关系型数据库以及文件系统。
本地数据
本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。
连接器
连接器是CDM内置的连接某种数据源所需的对象模板，目前CDM支持连接OBS、MRS、数据库等多种连接器，并可扩展增加新的连接器。
连接
连接是用户基于连接器创建的用于连接某个具体数据源的对象。
创建连接时需要指定连接的名称、连接器类型，以及数据源的地址、鉴权信息，例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。
一个连接被创建后可以被多个作业引用，且既可以作为源连接，也可以作为目的连接。
作业
作业是指用户创建的数据迁移任务，迁移特定数据源的数据到另一特定数据源。创建时需要指定源连接、目的连接、数据映射规则。
源端作业配置
在创建作业的过程中，由源连接指定抽取哪个数据源的数据，不同源连接对应的源端作业参数不同，例如从哪个表或哪个目录导出数据，这些信息在源端作业配置中指定。
目的端作业配置
在创建作业的过程中，由目的连接指定加载数据到哪个数据源，不同目的连接对应的目的端作业参数不同，例如将数据导入到哪个表或哪个目录，这些信息在目的端作业配置中指定。
字段映射
在创建作业的过程中，尤其是异构数据源之间的迁移作业，一般需要配置源端和目的端数据源之间的对应关系，例如字段对应、字段类型对应，这个过程在CDM中称为字段映射。
账号
当您首次登录云时注册的账号，该账号是您的云资源归属、资源使用计费的主体，对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、创建IAM用户、分配IAM用户权限等。账号统一接收所有IAM用户进行资源操作时产生的费用账单。账号在登录控制台时，使用“账号登录”方式登录。
IAM用户
由账号在IAM中创建的用户，类似于子账号，具有身份凭证（密码和访问密钥），可以使用自己单独的用户名和密码通过控制台或者API访问云服务。IAM用户根据账号授予的权限，帮助账号管理资源。IAM用户不拥有资源，不进行独立的计费，这些IAM用户的权限和资源由所属账号统一控制和付费。IAM用户在登录控制台登录时，使用“IAM用户登录”方式登录。
用户组
用户组是IAM用户的集合，IAM用户需要加入特定用户组后，才具备对应的权限，否则无法访问您账号中的任何资源或是云服务。一个IAM用户可以加入多个用户组，以获得不同的权限。
“admin”为系统缺省提供的用户组，具有所有云服务资源的操作权限，将IAM用户加入该用户组后，可以操作并使用所有云资源，包括但不限于创建用户组及IAM用户、修改用户组权限、管理云资源等。
策略与授权
策略是以JSON格式描述一组权限集的语言，它可以精确地描述被授权的资源集和操作集。包括系统策略和自定义策略两种：
- 系统策略是IAM预置的策略，您可以使用但不能修改。
- 若系统策略不满足授权要求，您可以创建自定义策略，自由搭配需要授予的权限集。
通过给用户组授予策略（包括系统策略和自定义策略），用户组中的IAM用户就能获得策略中定义的权限，这一过程称为授权。
例如拥有CDM所有权限的策略（CDM Administrator）内容如下：
{
"Version": "1.1",
"Statement": [
{
"Action": [
"cdm:*:*",
"ecs:*:*",
"vpc:*:*",
"evs:*:*",
"bss:*:*",
"CTS:*:*",
"eps:*:*",
"obs:*:*",
"CES:*:*"
],
"Effect": "Allow"
}
]
}项目
云服务所属的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源）。
- 以默认项目为单位进行授权时，IAM用户可以访问您账号中该区域的所有资源。
- 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中创建资源，然后以子项目为单位进行授权，这样IAM用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。
身份凭证
身份凭证是识别用户身份的依据，您通过控制台或者API访问云服务时，需要使用身份凭证来通过系统的鉴权认证。身份凭证包括密码和访问密钥，您可以在IAM中管理账号以及IAM用户的身份凭证。
- 密码：常见的身份凭证，密码可以用来登录控制台，还可以调用云服务的API。
- 访问密钥：即AK/SK（Access Key ID/Secret Access Key），调用API的身份凭证，不能用来登录控制台。访问密钥中具有验证身份的签名，通过加密签名验证可以确保机密性、完整性和请求双方身份的正确性。
