云数据迁移 CDM
云数据迁移 CDM
- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务（DWS）连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务（CSS）连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通（ST）连接参数说明
- LogHub（SLS）连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub（SLS）源端参数
- 配置神通（ST）源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移？
- 是否支持字段转换？
- Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
- 数据源为Hive时支持哪些数据格式？
- 是否支持同步作业到其他集群？
- 是否支持批量创建作业？
- 是否支持批量调度作业？
- 如何备份CDM作业？
- 如何解决HANA集群只有部分节点和CDM集群网络互通？
- 如何使用Java调用CDM的Rest API创建数据迁移作业？
- 如何将云下内网或第三方云上的私网与CDM连通？
- CDM是否支持参数或者变量？
- CDM迁移作业的抽取并发数应该如何设置？
- CDM是否支持动态数据实时迁移功能？
- CDM是否支持集群关机功能？
- 如何使用表达式方式获取当前时间？
- 在创建迁移作业时，where语句参数中的时间格式是怎样的？
- CDM作业可以将源表中的字段注释迁移到目标端表吗？
-
故障处理类
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
- 整库迁移到Hive，报错Identifier name is too long如何处理？
- 迁移数据到DLI时有数据丢失怎么处理？
- 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
- 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
- 作业从旧集群导出，再导入到新的集群失败怎么解决？
- 迁移HDFS文件，报错无法获取块怎么处理？
- CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
- 通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
- CDM迁移DWS数据报错Read timedout怎么处理？
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决？
- Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
- 作业配置添加字段，MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
- 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
- 迁移MySql到DWS，TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题？
- 创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
- 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败，检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决？
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败，报服务器内部错误怎么解决？
- CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？
- 通用参考
本文导读
展开导读
链接复制成功！
创建MySQL连接器
MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。
前提条件
- 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。
- 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。
- 已创建CDM集群。
新建MySQL连接器
- 进入CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”，进入驱动管理页面。
- 在“驱动管理”页面，单击MySQL驱动“建议版本”列中的资料链接，按照相应指导获取驱动文件。
- 在“驱动管理”页面中，选择以下方式上传MySQL驱动。
方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。
方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。
- 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图1所示。
- 连接器类型选择“MySQL”后单击“下一步”，配置MySQL连接的参数。
表1 MySQL连接参数 参数名
说明
取值样例
名称
输入便于记忆和区分的连接名称。
mysqllink
数据库服务器
MySQL数据库的IP地址或域名。
192.168.1.110
端口
MySQL数据库的端口。
3306
数据库名称
MySQL数据库的名称。
sqoop
用户名
拥有MySQL数据库的读、写和删除权限的用户。
admin
密码
用户的密码。
-
使用本地API
使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。
是
使用Agent
Agent功能待下线，无需配置。
-
local_infile字符集
mysql通过local_infile导入数据时，可配置编码格式。
utf8
驱动版本
适配mysql的驱动。
-
Agent
Agent功能待下线，无需配置。
-
单次请求行数
指定每次请求获取的行数。
1000
单次提交行数
可选参数，单击“显示高级属性”后显示。
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。
1000
连接属性
自定义连接属性。
useCompression=true
引用符号
连接引用表名或列名时的分隔符号。默认为空。
'
单次写入行数
指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。
100
- 单击“保存”回到连接管理界面，完成MySQL连接器的配置。
说明：
如果保存时出错，一般是由于MySQL数据库的安全设置问题，需要设置允许CDM集群的EIP访问MySQL数据库。
父主题： 使用教程
