- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务(DWS)连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务(CSS)连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通(ST)连接参数说明
- LogHub(SLS)连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub(SLS)源端参数
- 配置神通(ST)源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
- SDK参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移?
- 是否支持字段转换?
- Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
- 数据源为Hive时支持哪些数据格式?
- 是否支持同步作业到其他集群?
- 是否支持批量创建作业?
- 是否支持批量调度作业?
- 如何备份CDM作业?
- 如何解决HANA集群只有部分节点和CDM集群网络互通?
- 如何使用Java调用CDM的Rest API创建数据迁移作业?
- 如何将云下内网或第三方云上的私网与CDM连通?
- CDM是否支持参数或者变量?
- CDM迁移作业的抽取并发数应该如何设置?
- CDM是否支持动态数据实时迁移功能?
- CDM是否支持集群关机功能?
- 如何使用表达式方式获取当前时间?
- 在创建迁移作业时,where语句参数中的时间格式是怎样的?
- CDM作业可以将源表中的字段注释迁移到目标端表吗?
- 如何查询数据连接创建人?
-
故障处理类
- 日志提示解析日期格式失败时怎么处理?
- 字段映射界面无法显示所有列怎么处理?
- CDM迁移数据到DWS时如何选取分布列?
- 迁移到DWS时出现value too long for type character varying怎么处理?
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理?
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行?
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理?
- Hive迁移作业长时间卡顿怎么办?
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
- MySQL迁移时报错“JDBC连接超时”怎么办?
- 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
- 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”?
- 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决?
- 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理?
- 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理?
- MySQL迁移时报错:invalid input syntax for integer: "true"
- 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
- 整库迁移到Hive,报错Identifier name is too long如何处理?
- 迁移数据到DLI时有数据丢失怎么处理?
- 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因?
- 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理?
- 作业从旧集群导出,再导入到新的集群失败怎么解决?
- 迁移HDFS文件,报错无法获取块怎么处理?
- 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理?
- CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
- 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败?
- CDM迁移DWS数据报错Read timedout怎么处理?
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决?
- Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
- 作业配置添加字段,MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理?
- 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理?
- 迁移MySql到DWS,TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题?
- 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错
- 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败,检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决?
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败,报服务器内部错误怎么解决?
- CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办?
- MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理?
- CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决?
- 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?
- 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理?
- RDS-Mysql和开源Mysql对于date类型的范围不一致,可能导致date数据转换异常
- 通过json方式导入的作业,sql server迁移到hive,执行作业报错
- Hudi源端的作业长时间处于BOOTING状态怎么解决?
- Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
- Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办?
- Hudi目的端的作业失败,日志报错Read Timeout怎么解决?
- Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决?
- Hudi目的端的作业执行卡Running,数据写入行数一直显示为0如何处理?
- Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办?
- Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?
- 文档下载
- 通用参考
链接复制成功!
创建CDM与数据源之间的连接
操作场景
用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表或者文件迁移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接),详情请参见支持的数据源。
不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
约束限制
- 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。
- 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
前提条件
- 已具备CDM集群。
- CDM集群与目标数据源可以正常通信。
- 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
- 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件:
- 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
新建连接
- 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。
图1 集群列表说明:
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。
- 在CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型,如图2所示。
这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。
- 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。
每种数据源的连接参数不同,您可以根据所选择的连接器类型在表1中查找对应参数。
表1 连接参数分类 连接器类型
参数说明
- 云数据库 PostgreSQL
- 云数据库 SQL Server
- PostgreSQL
- Microsoft SQL Server
由于关系型数据库所采用的JDBC驱动相同,所以连接参数也一样,具体参数请参见PostgreSQL/SQLServer连接参数说明。
数据仓库服务(DWS)
连接数据仓库服务(DWS)时,具体参数请参见数据仓库服务(DWS)连接参数说明。
SAP HANA
连接SAP HANA时,具体参数请参见SAP HANA连接参数说明。
达梦数据库 DM
连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。
MySQL
连接MySQL数据库时,具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。
Oracle
连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。
分库
连接达梦数据库时,具体参数请参见分库连接参数说明。
对象存储服务(OBS)
连接OBS时,具体参数请参见OBS连接参数说明。
- MRS HDFS
- FusionInsight HDFS
- Apache HDFS
连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时,具体参数请参见HDFS连接参数说明。
- MRS HBase
- FusionInsight HBase
- Apache HBase
连接MRS、Apache Hadoop或FusionInsight HD上的HBase时,具体参数请参见HBase连接参数说明。
- MRS Hive
- FusionInsight Hive
- Apache Hive
连接MRS、Apache Hadoop或FusionInsight HD上的Hive时,具体参数请参见Hive连接参数说明。
表格存储服务(CloudTable)
连接CloudTable时,具体参数请参见CloudTable连接参数说明。
- FTP
- SFTP
连接FTP或SFTP服务器时,具体参数请参见FTP/SFTP连接参数说明。
HTTP
用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。
当前创建HTTP连接时,只需要配置连接名称,具体URL在创建作业时配置。
MongoDB
连接本地MongoDB数据库时,具体参数请参见MongoDB连接参数说明。
文档数据库服务(DDS)
连接DDS时,具体参数请参见DDS连接参数说明。
- Redis
- 分布式缓存服务(DCS)
连接Redis或DCS时,具体参数请参见Redis连接参数说明。
- MRS Kafka
- Apache Kafka
连接MRS Kafka或Apache Kafka数据源时,具体参数请参见Kafka连接参数说明。
数据接入服务(DIS)
连接DIS时,具体参数请参见DIS连接参数说明。
云搜索服务
Elasticsearch
连接云搜索服务或Elasticsearch时,具体参数请参见云搜索服务(CSS)连接参数说明。
数据湖探索(DLI)
连接数据湖探索服务时,具体参数请参见DLI连接参数说明。
DMS Kafka
连接DMS的Kafka队列时,具体参数请参见DMS Kafka连接参数说明。
Cassandra
连接Cassandra时,具体参数请参见Cassandra连接参数说明。
说明:
2.9.3.300以上版本不支持Cassandra。
MRS Hudi
连接MRS Hudi时,具体参数请参见MRS Hudi连接参数说明。
MRS ClickHouse
连接MRS ClickHouse时,具体参数请参见MRS ClickHouse连接参数说明。
神通数据库(ST)
连接神通数据库(ST)时,具体参数请参见神通(ST)连接参数说明。
说明:
目前以下数据源处于公测阶段:FusionInsight HDFS、FusionInsight HBase、FusionInsight Hive、SAP HANA、文档数据库服务(DDS)、表格存储服务(CloudTable)、Cassandra、DMS Kafka、云搜索服务、分库、神通数据库(ST)。
- 连接的参数配置完成后单击“测试”,可测试连接是否可用。或者直接单击“保存”,保存时也会先检查连接是否可用。
受网络和数据源的影响,部分连接测试的时间可能需要30~60秒。
管理连接
- 删除:支持删除未被任何作业使用的连接,也支持批量删除连接。
- 编辑:支持修改已创建好的连接参数,但不支持重新选择连接器。修改连接时,需要重新输入数据源的登录密码。
- 测试连通性:支持直接测试已保存连接的连通性。
- 查看连接JSON:以JSON文件格式查看连接参数的配置。
- 编辑连接JSON:以直接修改JSON文件的方式,修改连接参数。
- 查看后端连接:查看该连接对应的后端连接。例如已开启后端连接,就可以查询到对应的后端连接详情。
在管理连接前,您需要确保该连接未被任何作业使用,避免影响现有作业运行。管理连接的操作流程如下:
- 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理”。
- 在连接管理界面找到需要修改的连接:
- 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。
- 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,修改连接时需要重新输入数据源的登录密码。
- 测试连通性:单击操作列的“测试连通性”,直接测试已保存连接的连通性。
- 查看连接JSON:选择操作列的“更多 > 查看连接JSON”,以JSON文件格式查看连接参数的配置。
- 编辑连接JSON:选择操作列的“更多 > 编辑连接JSON”,以直接修改JSON文件的方式,修改连接参数。
- 查看后端连接:选择操作列的“更多 > 查看后端连接”,查看该连接对应的后端连接。