云数据迁移 CDM
云数据迁移 CDM
- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务（DWS）连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务（CSS）连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通（ST）连接参数说明
- LogHub（SLS）连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub（SLS）源端参数
- 配置神通（ST）源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移？
- 是否支持字段转换？
- Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
- 数据源为Hive时支持哪些数据格式？
- 是否支持同步作业到其他集群？
- 是否支持批量创建作业？
- 是否支持批量调度作业？
- 如何备份CDM作业？
- 如何解决HANA集群只有部分节点和CDM集群网络互通？
- 如何使用Java调用CDM的Rest API创建数据迁移作业？
- 如何将云下内网或第三方云上的私网与CDM连通？
- CDM是否支持参数或者变量？
- CDM迁移作业的抽取并发数应该如何设置？
- CDM是否支持动态数据实时迁移功能？
- CDM是否支持集群关机功能？
- 如何使用表达式方式获取当前时间？
- 在创建迁移作业时，where语句参数中的时间格式是怎样的？
- CDM作业可以将源表中的字段注释迁移到目标端表吗？
-
故障处理类
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
- 整库迁移到Hive，报错Identifier name is too long如何处理？
- 迁移数据到DLI时有数据丢失怎么处理？
- 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
- 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
- 作业从旧集群导出，再导入到新的集群失败怎么解决？
- 迁移HDFS文件，报错无法获取块怎么处理？
- CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
- 通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
- CDM迁移DWS数据报错Read timedout怎么处理？
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决？
- Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
- 作业配置添加字段，MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
- 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
- 迁移MySql到DWS，TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题？
- 创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
- 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败，检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决？
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败，报服务器内部错误怎么解决？
- CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？
- 通用参考
本文导读
链接复制成功！
通过数据开发使用参数传递灵活调度CDM作业
如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。
说明：
- 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。
- 本示例以执行迁移Oracle数据到MRS Hive的CDM作业为例，介绍通过数据开发使用参数传递功能灵活调度CDM作业。
前提条件
已购买数据集成增量包。
创建CDM迁移作业
- 登录控制台，选择实例，单击“进入控制台”，单击相应工作空间后的“数据集成”。
- 在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。
- 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。
- 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。
- 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${varName}，本示例参数为${cur_date}，如图2所示。
说明：
不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。
创建并执行数据开发作业
- 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
- 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发” 。
- 在“作业开发”界面中，单击“新建作业”，如图3所示。
- 在弹出的“新建作业”页面，配置如所示的参数。单击“确定”，创建作业。
表1 作业参数 参数
说明
作业名称
自定义作业的名称，只能包含英文字母、数字、中文、“-”、“_”、“.”，且长度为1～128个字符。
作业类型
选择作业的类型。
- 批处理作业：按调度计划定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。
批处理作业可以配置作业级别的调度任务，即以作业为一整体进行调度，具体请参见配置作业调度任务（批处理作业）。
- 实时处理作业：处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系，每个节点可单独被配置调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。
实时处理作业可以配置节点级别的调度任务，即每一个节点可以独立调度，具体请参见配置作业调度任务（实时作业）。
创建方式
选择作业的创建方式。
- 创建空作业：创建一个空的作业。
- 基于模板创建：使用数据开发模块提供的模板来创建。
选择目录
选择作业所属的目录，默认为根目录。
责任人
填写该作业的责任人。
作业优先级
选择作业的优先级，提供高、中、低三个等级。
委托配置
配置委托后，作业执行过程中，以委托的身份与其他服务交互。
说明：
作业级委托优先于工作空间级委托。
日志路径
选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。
- 批处理作业：按调度计划定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。
- 在数据开发作业中添加CDM Job节点，并关联已创建的CDM作业，如图4所示。
- 在作业参数中配置业务需要的参数，如图5所示。
说明：
作业调度执行的过程中，会将该参数值传递给CDM作业，传递的参数“cur_date”可以配置为本示例“2021-11-10 00:00:00”固定参数值，也可以配置为EL表达式，例如：计划运行日期的前一天：#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")}，更多EL表达式请参见EL表达式。
- 保存并提交作业版本，单击“测试运行”，执行数据开发作业。
- 数据开发作业执行成功后，单击右上角的“前往监控”，进入“作业监控”页面，查看生成的任务或实例是否符合需求，如图6所示。
