# 云数据迁移 CDM > 提供同/异构数据源之间批量数据迁移服务 ## 服务公告 - [版本支持公告](https://support.huaweicloud.com/bulletin-cdm/cdm_14_002.md): CDM在管理控制台上显示的集群版本号格式为x.y.z.p，版本号具体含义如图1所示。一般情况下，CDM新功能特性以发布号为周期进行发布，例如24.4.0，25.3.0。而每一个发布号版本发布后，会发布补丁用于修复问题，例如24.4.0.1补丁版本。即补丁号仅修复问题，不增加新的功能特性。表1给出了CDM版本生命周期（仅体现发布号）及收编策 ## 产品介绍 - [图解云数据迁移](https://support.huaweicloud.com/productdesc-cdm/cdm_01_1000.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [什么是云数据迁移](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0143.md): 云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。在数据治理中心（DataArts Studio）服务中，CDM作 - [产品优势](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0145.md): 用户在云上进行数据集成、数据备份、新应用开发时，经常会涉及到数据迁移。通常情况下用户要进行数据迁移，会开发一些数据迁移脚本，从源端读取数据再写入目的端，相对这样传统的做法，CDM的优势如表1所示。 - [支持的数据源（24.4.x & 2.10.0.400）](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0328.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.10.0.300）](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0196.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.9.3.300）](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0195.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.9.2.200）](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0095.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据类型](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0188.md): 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为Oracle数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为SQL Server数据库，目的端为Hive、DWS、Oracle时，支持的数据类型如下：源端为PostgreS - [应用场景](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0002.md): 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。这个场景支持用户本地数据全量和T+1增量入湖。 - [基本概念](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0004.md): CDM集群是指用户拥有的CDM实例，一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群，例如为财务部门和采购部门各创建一个CDM实例，实现数据访问权限的隔离。本地环境是指用户自建或者租用的IDC中的数据存储系统，或者第三方云环境中的数据存储系统，包括关系型数据库以及文件系统。本地数据是指存储在用户自建或者租用的IDC中的 - [区域和可用区](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0200.md): 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属R - [迁移原理](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0144.md): 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。CD - [与其他云服务的关系](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0003.md): 您注册的云账号对其所拥有的资源及云服务具有完全的访问权限，如果您需要给企业中的员工设置不同的CDM访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。IAM提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制云资源的访 - [约束与限制](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0008.md): DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。单个CDM集群建议配置的作业数上限为1000，超过该上限时，作业的运行性能及可靠性均可能会受到影响。用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直 - [计费说明](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0500.md): 本小节主要介绍云数据迁移的计费说明，包括计费项、计费方式等。在您使用CDM的过程中，可能还会产生以下相关服务的费用，敬请知悉：OBS服务：数据迁移时，CDM可能会将脏数据写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。EIP服务：如果您为CDM集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EI - [资产识别与管理](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0159.md): 云资源的标识与管理可通过标签实现。通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签（对于CDM而言，标签作用于其集群上），各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使 - [身份认证与访问控制](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0160.md): 用户访问CDM的方式主要有两种，包括CDM Console界面、Open API等，其本质都是通过CDM提供的REST API接口进行请求。CDM的接口均需要通过认证鉴权才能访问，控制台发送的请求与调用API接口的请求均支持Token认证鉴权。您可以使用统一身份认证服务（Identity and Access Management，简称I - [数据保护技术](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0161.md): 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，CDM对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。用户删除CDM集群后，存储在集群上的用户个人敏感数据会随之删除。用户在控制台上删除填写的手机号、邮箱，并关闭消息通知功能后，数据库中会同步删除用户的手机号、邮箱 - [审计与日志](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0162.md): 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于 - [服务韧性](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0163.md): CDM通过流量限制、备份恢复等技术方案，保障数据的持久性和可靠性。关于CDM备份，用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 - [监控安全风险](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0164.md): CDM提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。关于CDM支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。 - [故障恢复](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0165.md): CDM集群支持定时备份功能。定时备份开启后可以将作业定时备份到OBS上，当服务故障后，可以通过作业导入功能恢复作业。 - [更新管理](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0167.md): CDM云服务通过华为云安全公告密切关注漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。CDM云服务通过版本更新升级更新配置。 - [认证证书](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0168.md): 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。合规证书下载华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。资源中心华为云安全服务提供了网络安全专用产品安全检测证书、软件著作权等证书，供用户下载和参考。具体请查看合规资质证书。合规资质证书 - [配额说明](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0147.md): CDM服务应用的基础设施如下：弹性云服务器虚拟私有云弹性公网IP消息通知服务统一身份认证服务其配额查看及修改请参见关于配额。 - [权限管理](https://support.huaweicloud.com/productdesc-cdm/cdm_01_0151.md): 如果您需要对CDM集群，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制云资源的访问。通过IAM，您可以在云账号中给员工创建IAM用 ## 快速入门 - [场景介绍](https://support.huaweicloud.com/qs-cdm/cdm_01_0012.md): 本章节介绍云数据迁移（Cloud Data Migration，以下简称CDM）的基础使用方法，通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务，具体场景如图1所示。CDM的基本使用流程如下：创建CDM集群创建连接创建并执行作业查看作业运行结果创建CDM集群创建连接创建并执行作业查看作 - [步骤1：创建集群](https://support.huaweicloud.com/qs-cdm/cdm_01_0013.md): 创建CDM集群，用于执行MySQL数据同步到DWS的任务。当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时，可保证CDM集群与其他云服务内网互通，无需专门打通网络。当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时，需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规 - [步骤2：创建连接](https://support.huaweicloud.com/qs-cdm/cdm_01_0014.md): 迁移MySQL数据库到数据仓库服务DWS前，需要创建两个连接：MySQL连接：CDM连接RDS for MySQL实例。DWS连接：CDM连接DWS集群。已拥有RDS for MySQL实例，已获取连接MySQL数据库的数据库名称、用户名、密码，且拥有MySQL数据库的读、写和删除权限。已拥有DWS集群，已获取连接DWS数据库的数据库名称 - [步骤3：创建并执行作业](https://support.huaweicloud.com/qs-cdm/cdm_01_0015.md): 创建CDM迁移数据表的作业，执行从MySQL数据库迁移表到DWS的任务。作业名称：输入便于记忆、区分的作业名称，例如：mysql2dws。源端作业配置源连接名称：选择步骤2：创建连接章节中创建的MySQL连接mysqllink。使用SQL语句：选择否。模式或表空间：选择从MySQL的哪个数据库导出表。表名：选择导出哪张表。其他可选参数保持 - [步骤4：查看作业运行结果](https://support.huaweicloud.com/qs-cdm/cdm_01_0016.md): 作业完成后，可以查看作业执行结果及最近30天内的历史信息，包括写入行数、读取行数、写入字节、写入文件数和日志等信息。作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。其中Pending表示正在等待系统调度该作业，Booting表示正在分析待迁移的数据。也可以在作业列表界面， - [入门实践](https://support.huaweicloud.com/qs-cdm/cdm_01_0199.md): 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 ## 用户指南 - [创建IAM用户并授权使用CDM](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0009.md): 如果您需要对您所拥有的数据集成服务（CDM）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以：根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用CDM资源。根据企业用户的职能，设置不同 - [创建CDM自定义策略](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0006.md): 如果系统预置的CDM权限策略，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考策略和授权项。目前华为云支持以下两种方式创建自定义策略：可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。JSON视图创建自定义策略：可以在选择策略模板 - [支持的数据源（24.4.x & 2.10.0.400）](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0329.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.10.0.300）](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0197.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.9.3.300）](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0295.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据源（2.9.2.200）](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0157.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [支持的数据类型](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0189.md): 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为Oracle数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为SQL Server数据库，目的端为Hive、DWS、Oracle时，支持的数据类型如下：源端为PostgreS - [创建CDM集群](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0018.md): 目前CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可相互访问。目前一个集群只支持一个服务器。已申请VPC、子网和安全组。CDM集群连接云上其它服务时，需确保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其它云服务所属不同VPC，则CDM集群需要通过EIP连接云服务。当CDM集群与其他云服务所在 - [解绑/绑定CDM集群的EIP](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0085.md): CDM集群创建完成后，支持解绑或绑定EIP。EIP即弹性公网IP，由虚拟私有云（Virtual Private Cloud，简称VPC）负责其计费。如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Intern - [重启CDM集群](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0219.md): 在进行某些配置修改（如关闭用户隔离等）后，需要重启集群才能生效。此时您需要进行集群重启操作。重启CDM集群进程或集群VM都会导致正在运行的作业失败，重启期间也无法调度新的作业，请谨慎操作！已创建CDM集群。或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制 - [删除CDM集群](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0220.md): 当您确认不再使用当前集群后，可以删除当前CDM集群。删除CDM集群后集群以及数据都销毁且无法恢复，请您谨慎操作！删除集群前，请您确认如下注意事项：待删除集群确认已不再使用。待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。对于购买DataArts Studio服务时系统赠送的CDM集群，非常不建议您进行删除 - [下载CDM集群日志](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0019.md): 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。已创建CDM集群。或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的数据集成模块，进入CDM首页。创建来源列仅通过DataArts Studio服 - [查看集群信息并修改配置](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0020.md): CDM集群已经创建成功后，您可以查看集群基本信息，并修改集群的配置。查看集群基本信息：集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。节点配置：集群规格、CPU和内存配置等信息。网络信息：网络配置。集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。节点配置：集群规格、CPU和内存配置等信息。网络信息：网络配置。支 - [管理集群标签](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0273.md): CDM集群已经创建成功后，支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源，后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。一个CDM集群最多可新增10个标签。已创建CDM集群。创建来源列仅通过DataArts Studio服务进入数据集成界面可以看到。一个集群最多可添加10个标签。标签键（key）的 - [CDM支持的监控指标](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0112.md): 云监控服务（Cloud Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。当您创建了CDM集群后，云监控服务会自动关联CDM的监控指标，帮助您实时掌握CDM集群的各项性能指标，精确掌握CDM集群的运行情况。本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。如果您需要查看CDM相关的 - [设置CDM告警规则](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0113.md): 通过设置CDM集群告警规则，用户可自定义监控目标与通知策略，及时了解CDM集群运行状况，从而起到预警作用。设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。更多关于监控告警的信息，请参见云监控用户指南。 - [查看CDM监控指标](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0114.md): 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。CDM集群正常运行。重启失败、不可用状态的集群，无法查看其监控指标。当集群再次启 - [创建CDM与数据源之间的连接](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0023.md): 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的 - [OBS连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0026.md): OBS连接目的端OBS桶需添加读写权限，但连接时不需要认证文件。CDM集群和OBS桶不在同一个Region时，不支持跨Region访问OBS桶。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接OBS时，相关连接参数如表1所示。OBS连接的参数参数名说明取值样例名称连接的名称， - [PostgreSQL/SQLServer连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0025.md): 连接PostgreSQL/SQLServer时，相关参数如表1所示，Greenplum、金仓、GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [数据仓库服务（DWS）连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0226.md): 连接数据仓库服务（DWS）时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [云数据库MySQL/MySQL数据库连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1211.md): 连接MySQL数据库连接时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Oracle数据库连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1212.md): 连接Oracle数据库时，连接参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。Oracle数据库连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。oracle_link数据库服务器配置为要连接的数据库的IP地址或域 - [DLI连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0050.md): 连接数据湖探索（DLI）服务时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成 - [Hive连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0115.md): 目前CDM支持连接的Hive数据源有以下几种：MRS HiveFusionInsight HiveApache Hive作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HiveFusionInsight HiveApache Hive作业运行中禁止修改密码或者更换用户。在 - [HBase连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0110.md): 目前CDM支持连接的HBase数据源有以下几种：MRS HBaseFusionInsight HBaseApache HBase作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HBaseFusionInsight HBaseApache HBase作业运行中禁止修改密码或 - [HDFS连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0027.md): 目前CDM支持连接的HDFS数据源有以下几种：MRS HDFSFusionInsight HDFSApache HDFS作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HDFSFusionInsight HDFSApache HDFS作业运行中禁止修改密码或者更换用户。在 - [FTP/SFTP连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0028.md): FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。当前仅支持Linux操作系统的FTP 服务器。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接FTP或SFTP服务器时，连接参数相同，如表1所示。FTP/SFTP连接参数参数名说明取值样例名称连接的名 - [Redis连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0029.md): Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。Redis连接不支持SSL加密的Redis数据源。连接本地Redis数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [DDS连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0152.md): DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。连接云服务DDS时，相关参数如表1所示。暂不支持开启SSL的DDS数据源。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [CloudTable连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0093.md): 连接CloudTable时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。单击显示高级属性，然后单击添加，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的删除按钮进行删除。 - [MongoDB连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0065.md): MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。连接本地MongoDB数据库时，相关参数如表1所示。暂不支持开启SSL的MongoDB数据源。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业 - [Cassandra连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_00301.md): 2.9.3.300以上版本不支持Cassandra。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [DIS连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0083.md): 连接DIS时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Kafka连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0094.md): 连接MRS上的Kafka数据源时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。单击显示高级属性，然后单击添加，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的删除按钮进行删除。Apache Kafka连接适 - [DMS Kafka连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0142.md): 连接DMS的Kafka队列时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [云搜索服务（CSS）连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0084.md): 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。作业运行中禁止修改密码或者更换 - [Elasticsearch连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1298.md): Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接E - [达梦数据库 DM连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1216.md): 连接达梦数据库 DM时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。达梦数据库 DM连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。dm_link数据库服务器配置为要连接的数据库的IP地址或域名，多个值以 - [SAP HANA连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0227.md): 连接SAP HANA时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [分库连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1214.md): 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。分库连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。my_li - [MRS Hudi连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0184.md): 连接MRS Hudi时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [MRS ClickHouse连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0286.md): 连接MRS ClickHouse时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [神通（ST）连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0289.md): 连接神通（ST）数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [LogHub（SLS）连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0287.md): 连接LogHub（SLS）时，相关参数如表1所示。 - [Doris连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1215.md): 支持连接开源Doris和MRS Doris，连接Doris数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。Doris兼容MySQL协议，您可以使用标准的MySQL客户端或驱动进行连接。但为了充分发挥Doris的高性能潜力并获得最佳的操作体验，我们强烈 - [YASHAN连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1222.md): 连接YASHAN时，相关参数如表1 YASHAN连接参数所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [OceanBase连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1311.md): 连接OceanBase时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Rest Client连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1312.md): 连接Rest Client时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [REDSHIFT连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1314.md): 连接REDSHIFT时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [IBM Db2连接参数说明](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1316.md): 连接IBM Db2时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [上传CDM连接驱动](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0215.md): JDBC即Java DataBase Connectivity，java数据库连接；JDBC提供的API可以让JAVA通过API方式访问关系型数据库，执行SQL语句，获取数据。CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。已创建集群。已参见表1下载对应的驱动。已参见FTP/SFTP连接参数说明创建SFTP - [新建Hadoop集群配置](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1096.md): 集群配置管理支持新建、编辑或删除Hadoop集群配置。Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。CDM支持的Hadoop类型连接主要包括以下几类：MRS集群：MRS HDFS，MRS HBase，MRS Hive。FusionInsight集群：FusionInsight HDFS，F - [新建表/文件迁移作业](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0033.md): CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。记录脏数据功能依赖于OBS服务。作业导入时，JSON文件大小不超过1MB。单文件传输大小不超过1TB。配置源端和目的端参数时，字段名不可包含&和%。已新建连接，详情请参见创建CDM与数据源之间的连接。CDM集群与待迁移数据源可以正常 - [新建整库迁移作业](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0091.md): CDM支持在同构、异构数据源之间进行整库迁移，迁移原理与新建表/文件迁移作业相同，关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。整库迁移作业每次运行，会根据整库作业的配置重建子任务，不支持修改子任务后再重新运行主作业。支持整库迁移的数据源请参见支持的 - [配置OBS源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0035.md): 作业中源连接为OBS连接时，源端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个 - [配置HDFS源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0036.md): 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 - [配置HBase/CloudTable源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0037.md): 作业中源连接为HBase连接或CloudTable连接时，即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时，源端作业参数如表1所示。CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手 - [配置Hive源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0038.md): 作业中源连接为Hive连接时，源端作业参数如表1所示。Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 - [配置DLI源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0030.md): 作业中源连接为DLI连接时，源端作业参数如表1所示。DLI桶的生命周期时间默认为2天，因此当作业运行时间超过48小时，可能存在迁移数据缺失。 - [配置FTP/SFTP源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0039.md): 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。 - [配置HTTP源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0122.md): 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 - [配置PostgreSQL/SQL Server源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0040.md): 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时，源端作业参数如表1所示。 - [配置DWS源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0387.md): 作业中源连接为DWS连接时，源端作业参数如表1所示。 - [配置SAP HANA源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0388.md): SAP HANA作为源端作业参数如表1所示。 - [配置MySQL源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0358.md): 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 - [配置Oracle源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0253.md): 作业中源连接为Oracle数据库连接，源端作业参数如表1所示。Oracle作为源端时，如果未配置抽取分区字段或者按表分区抽取这2个参数，CDM自动使用ROWID进行数据分区。 - [配置分库源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0254.md): 作业中源连接为分库连接，源端作业参数如表1所示。选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个数据库中的多张表迁移到同一张表后，查看表的数据来源。支持的样值包括：${custom(ho - [配置MongoDB/DDS源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0066.md): 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。MongoDB/DDS作为源端时的作业参数参数类型参数名说明取值样例基本参数数据库名称选择待迁移 - [配置Redis源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0042.md): 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 - [配置DIS源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0086.md): 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。作业中源连接为DIS连接时，源端作业参数如表1所示。 - [配置Kafka/DMS Kafka源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0096.md): 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 - [配置Elasticsearch/云搜索服务源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0081.md): 作业中源连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，源端作业参数如表1所示。 - [配置MRS Hudi源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0185.md): 作业中源连接为MRS Hudi连接时，源端作业参数如表1所示。 - [配置MRS ClickHouse源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0285.md): 作业中源连接为MRS ClickHouse连接时，源端作业参数如表1所示。 - [配置达梦数据库 DM源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0291.md): 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 - [配置LogHub（SLS）源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0288.md): 作业中源连接为LogHub（SLS）连接时，源端作业参数如表1所示。 - [配置神通（ST）源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0290.md): 从神通（ST）导出数据时，源端作业参数如表1所示。 - [配置Doris源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0136.md): 作业中源连接为Doris连接时，源端作业参数如表1所示。 - [配置YASHAN源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1223.md): 作业中源连接从YASHAN导出的数据时，源端作业参数如表1所示。 - [配置RestApi源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1313.md): 作业中源连接从RestApi导出的数据时，源端作业参数如表1所示。 - [配置REDSHIFT源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1315.md): 作业中源连接为REDSHIFT导出的数据时，源端作业参数如表1所示。目前，该数据源仅支持目标端为DWS数据源，其他数据源暂不支持。 - [配置IBM Db2源端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1319.md): 作业中源连接为IBM Db2导出的数据时，源端作业参数如表1所示。 - [配置OBS目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0044.md): 作业中目的连接为OBS连接时，即导入数据到云服务OBS时，目的端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。 - [配置HDFS目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0045.md): 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。HDFS文件编码只能为UTF-8，故HDFS不支持设置文件编码类型。 - [配置HBase/CloudTable目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0046.md): 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 - [配置Hive目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0047.md): 作业中目的连接为Hive连接时，目的端作业参数如表1所示。Hive LoadOverwrite的动态分区写入与静态分区写入介绍：CDM Hive的LoadOverwrite方式依赖Hive原生语法'LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [P - [配置MySQL/SQL Server/PostgreSQL目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0049.md): 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 - [配置Oracle目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0252.md): 作业中目的连接为Oracle数据库连接时，目的端作业参数如表1所示。 - [配置DWS目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0251.md): 作业中目的连接为DWS连接时，目的端作业参数如表1所示。CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLIN - [配置DDS目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0116.md): 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。DDS作为目的端时的作业参数参数名说明取值样例数据库名称选择待导入数据的数据库。ddsdb集合名称选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。如果选择界面没有待选择的表，请确认 - [配置Elasticsearch/云搜索服务（CSS）目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0087.md): 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。表/文件迁移和整库迁移时需配置的参数不同，下表参数为表/文件迁移时的全量参数，实际参数以界面显示为准。 - [配置DLI目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0078.md): 作业中目的连接为DLI连接时，即将数据导入到数据湖探索服务（DLI）时，目的端作业参数如表1所示。使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部 - [配置MRS Hudi目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0186.md): 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 - [配置MRS ClickHouse目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0386.md): 作业中目的连接为MRS ClickHouse连接时，目的端作业参数如表1所示。当作业源端为MRS ClickHouse、DWS及Hive时：若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS ClickHouse的值会为0。请确认目的端表引擎是否为Repl - [配置MongoDB目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0389.md): 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 - [配置Redis目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0051.md): 当作业将数据导入到Redis时，目的端作业参数如表1所示。Redis作为目的端时的作业参数参数名说明取值样例Redis键前缀键的前缀，类似关系型数据库的表名。TABLE值存储类型仅支持以下数据格式：STRING：不带列名，如值1，值2形式。HASH：带列名，如列名1=值1，列名2=值2的形式。STRING是否以列值作为field当值存储类 - [配置Doris目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1201.md): 当作业将数据导入到Doris时，目的端作业参数如表1所示。 - [配置GaussDB目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1318.md): 当作业将数据导入到GaussDB时，目的端作业参数如配置GaussDB目的端参数所示。 - [配置IBM Db2目的端参数](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1320.md): 当作业将数据导入到IBM Db2时，目的端作业参数如表1所示。 - [配置CDM作业字段映射](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0183.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段 - [配置CDM作业定时任务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0067.md): 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度 - [CDM作业配置管理](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0153.md): CDM作业管理界面的配置管理页签，主要操作如下：最大抽取并发数定时备份/恢复作业参数的环境变量集群过载保护最大抽取并发数即集群最大抽取并发数。此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后， - [管理单个CDM作业](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0052.md): 已存在的CDM作业支持查看、修改、删除、启动、停止等操作，这里主要介绍作业的查看和修改。查看作业状态作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。其中Pending表示正在等待系统调度该作业，Booting表示正在分析待迁移的数据。作业状态有New，Pending，Bo - [批量管理CDM作业](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0053.md): 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作：作业分组管理批量运行作业批量删除作业批量导出作业批量导入作业作业分组管理批量运行作业批量删除作业批量导出作业批量导入作业批量导出、导入作业的功能，适用以下场景：CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。备份作业：例如需要将CDM集群停 - [各数据源脏数据的支持情况](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0058.md): 在数据集迁移过程中，可能会因数据类型不匹配、格式错误、约束冲突等原因产生脏数据。CDM支持将脏数据单独记录并写入指定存储位置，便于后续分析与处理。不同数据源在作为源端（读）和目的端（写）时，对脏数据记录的支持能力存在差异，具体支持情况如下表所示： - [如何查看审计日志](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0126.md): 云审计服务（Cloud Trace Service，CTS）可以记录CDM相关的操作事件，用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。在您开启了云审计服务后，系统开始记录CDM的相关操作，云审计服务的管理控制台保存最近7天的操作记录。已开通云审计服务。开通方式请参见开通云审计服务。登录管理控制台，在服务列表中选择云审计服 - [支持云审计的关键操作](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0125.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [文件增量迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0104.md): CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。目前CDM支持以下文件增量迁移方式：增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。关键配置：文件/路径过滤器 - [关系数据库增量迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0105.md): CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。增量迁移指定时间段内的数据适用场景：源端为关系型数据库，目的端没有要求。关键配置：Where子句+定时执行作业。前提条件：数据表中有时间日期字段或时间戳字段。适用场景：源端为关系型数据库，目的端没有要求。关键配置 - [HBase/CloudTable增量迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0121.md): 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者CloudTable HBase的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁 - [MongoDB/DDS增量迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0169.md): 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CD - [时间宏变量使用解析](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0068.md): 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量：源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条件和Where子句目的端的写入目录目的端的表名源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条 - [事务模式迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0106.md): CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过先导入阶段表参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过 - [迁移文件时加解密](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0107.md): 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式：AES-256-GCM加密KMS加密AES-256-GCM加密KMS加密目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：HDFS（使用二进制格式传输时支持）。目的端支持的数据 - [MD5校验文件一致性](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0108.md): CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。在这个过程中，CDM支持使用MD5检验文件一致性。抽取时该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。该功能由源端作业参数MD5文件名后缀控制（文件格式为 - [字段转换器配置指导](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0090.md): 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器CDM可以在迁移过程中对 - [新增字段操作指导](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0190.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如 - [指定文件名迁移](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0109.md): 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数源目录或文件支持输入多个文件名（最多50个），文件名之间默认使用|分隔，您也可以自定义文件分隔符，从 - [正则表达式分隔半结构化文本](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0098.md): 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且文件格式必须选择CSV格式。在迁移CSV格式的文件时，CDM支 - [记录数据迁移入库时间](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0166.md): CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。已创建连接器源端为关系型数据库，以及目的端数据连接。目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。名称：InputTime。 - [文件格式介绍](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0130.md): 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择文件格式，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。CSV格式JSON格式二进制格式文件格式的公共参数文件格式问题解决方法如果想要读取或写入某个CSV文件，请在选择文件格式的时候选择CSV格式。CSV格式的主要有以下使用场景：文件导入到数据库、NoSQ - [不支持数据类型转换规避指导](https://support.huaweicloud.com/usermanual-cdm/cdm_01_1185.md): CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。SQL语句格式为：select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName.tableName； - [自动建表原理介绍](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0092.md): CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射 - [创建MRS Hive连接器](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0334.md): MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。已创建CDM集群。已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络 - [创建MySQL连接器](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0333.md): MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保M - [MySQL数据迁移到MRS Hive分区表](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0118.md): MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Loadin - [MySQL数据迁移到OBS](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0212.md): CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限 - [MySQL数据迁移到DWS](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0214.md): CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建DWS连接创建迁移作业已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库的读、写和删除权限。已获取连接MySQL数据库的IP地址、端口、数据库名称、 - [MySQL整库迁移到RDS服务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0097.md): 本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：创建CDM集群并 - [Oracle数据迁移到云搜索服务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0088.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Oracle连接创建迁移作业已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。已获取Oracle数 - [Oracle数据迁移到DWS](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0332.md): CDM支持表到表的迁移，本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务（Data Warehouse Service，简称DWS）中，流程如下：创建CDM集群并绑定EIP创建Oracle连接创建DWS连接创建迁移作业已购买DWS集群，并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库 - [OBS数据迁移到云搜索服务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0128.md): CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下：创建CDM集群创建云搜索服务连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为Data - [OBS数据迁移到DLI服务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0080.md): 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：创建CDM集群创建DLI连接创建OBS连接创建迁移作业已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。已经在DLI服务中创建好资源队列、数据库和表。如果是独立CDM服务，参考创建集群创建 - [MRS HDFS数据迁移到OBS](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0213.md): CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下：创建CDM集群并绑定EIP创建MRS HDFS连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经购买了MRS。拥有EIP配额。关键配置如下：CDM集群的规格，按待迁移的数据量选择， - [Elasticsearch整库迁移到云搜索服务](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0089.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Elasticsearch连接创建整库迁移作业拥有EIP配额。已经开通了云搜索服务，且获取云 - [配置DM数据源SSL认证](https://support.huaweicloud.com/usermanual-cdm/cdm_01_0129.md): 达梦数据库（DM）支持基于传输层的SSL协议加密，可对客户端与服务器之间的通信数据进行加密传输，确保数据传输安全。本文介绍如何在华为云DataArts Studio数据集成服务（CDM）中配置达梦数据库SSL加密连接，以实现数据传输通道的加密保护。达梦数据库已开启SSL加密通信时，CDM连接需要使用SSL加密方式访问数据库。达梦数据库服务 ## 最佳实践 - [创建MRS Hive连接器](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0334.md): MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。已创建CDM集群。已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络 - [创建MySQL连接器](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0333.md): MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保M - [MySQL数据迁移到MRS Hive分区表](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0118.md): MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Loadin - [MySQL数据迁移到OBS](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0212.md): CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限 - [MySQL数据迁移到DWS](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0214.md): CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建DWS连接创建迁移作业已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库的读、写和删除权限。已获取连接MySQL数据库的IP地址、端口、数据库名称、 - [MySQL整库迁移到RDS服务](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0097.md): 本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：创建CDM集群并 - [Oracle数据迁移到云搜索服务](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0088.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Oracle连接创建迁移作业已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。已获取Oracle数 - [Oracle数据迁移到DWS](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0332.md): CDM支持表到表的迁移，本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务（Data Warehouse Service，简称DWS）中，流程如下：创建CDM集群并绑定EIP创建Oracle连接创建DWS连接创建迁移作业已购买DWS集群，并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库 - [OBS数据迁移到云搜索服务](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0128.md): CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下：创建CDM集群创建云搜索服务连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为Data - [OBS数据迁移到DLI服务](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0080.md): 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：创建CDM集群创建DLI连接创建OBS连接创建迁移作业已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。已经在DLI服务中创建好资源队列、数据库和表。如果是独立CDM服务，参考创建集群创建 - [MRS HDFS数据迁移到OBS](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0213.md): CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下：创建CDM集群并绑定EIP创建MRS HDFS连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经购买了MRS。拥有EIP配额。关键配置如下：CDM集群的规格，按待迁移的数据量选择， - [Elasticsearch整库迁移到云搜索服务](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0089.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Elasticsearch连接创建整库迁移作业拥有EIP配额。已经开通了云搜索服务，且获取云 - [文件增量迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0104.md): CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。目前CDM支持以下文件增量迁移方式：增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。关键配置：文件/路径过滤器 - [关系数据库增量迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0105.md): CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。增量迁移指定时间段内的数据适用场景：源端为关系型数据库，目的端没有要求。关键配置：Where子句+定时执行作业。前提条件：数据表中有时间日期字段或时间戳字段。适用场景：源端为关系型数据库，目的端没有要求。关键配置 - [HBase/CloudTable增量迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0121.md): 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CD - [MongoDB/DDS增量迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0169.md): 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CD - [时间宏变量使用解析](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0068.md): 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量：源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条件和Where子句目的端的写入目录目的端的表名源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条 - [事务模式迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0106.md): CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过先导入阶段表参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过 - [迁移文件时加解密](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0107.md): 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式：AES-256-GCM加密KMS加密AES-256-GCM加密KMS加密目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：HDFS（使用二进制格式传输时支持）。目的端支持的数据 - [MD5校验文件一致性](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0108.md): CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。在这个过程中，CDM支持使用MD5检验文件一致性。抽取时该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。该功能由源端作业参数MD5文件名后缀控制（文件格式为 - [字段转换器配置指导](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0090.md): 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器CDM可以在迁移过程中对 - [指定文件名迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0109.md): 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数源目录或文件支持输入多个文件名（最多50个），文件名之间默认使用|分隔，您也可以自定义文件分隔符，从 - [正则表达式分隔半结构化文本](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0098.md): 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且文件格式必须选择CSV格式。在迁移CSV格式的文件时，CDM支 - [记录数据迁移入库时间](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0166.md): CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。已创建连接器源端为关系型数据库，以及目的端数据连接。目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。名称：InputTime。 - [文件格式介绍](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0130.md): 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择文件格式，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。CSV格式JSON格式二进制格式文件格式的公共参数文件格式问题解决方法如果想要读取或写入某个CSV文件，请在选择文件格式的时候选择CSV格式。CSV格式的主要有以下使用场景：文件导入到数据库、NoSQ - [通过数据开发使用参数传递灵活调度CDM作业](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_1104.md): 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。本示例以执行迁移Oracle数据到MRS Hive的CDM作业为例，介绍通过数据开发使用参数传递功能灵活调度CDM作业。已购买数据集成增量包。不能在CDM迁移作业 - [通过数据开发实现数据增量迁移](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_0140.md): DataArts Studio服务的数据开发组件提供了一站式的大数据协同开发平台，借助数据开发的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。这里以DWS导入到OBS为例，介绍数据开发配合CDM实现增量迁移的流程：获取CDM作业的JSON修改JSON创建数据开发作业获取CDM作业的JSON修改JSON创建数据开发作业进入 - [通过CDM节点批量创建分表迁移作业](https://support.huaweicloud.com/bestpractice-cdm/cdm_01_1098.md): 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail - [贸易数据上云场景介绍](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0002.md): 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大 - [操作流程概述](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0003.md): 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤：使用CDM上传数据到OBS通过CDM将H公司存量数据上传到对象存储服务OBS。通过CDM作业的定时任务，每天自动上传增量数据到OBS。通过CDM将H公司存量数据上传到对象存储服务OBS。通过CDM作业的定时任务，每天自动上传增量数据到OBS。使用DLI分析数据通过DLI - [上传存量数据](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0006.md): 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。创建OBS桶，并记录OBS的访问域名、端口和AK/SK。创建CDM集群。DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。如果您需要再创建新的CDM集群，请参考购买批量数据迁 - [上传增量数据](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0007.md): 使用CDM将存量数据上传完后，单击该作业后的编辑，直接修改该作业。保持作业基本参数不变，单击下一步修改任务参数，如图1所示。定时任务配置勾选是否定时执行，配置定时任务：重复周期配置为1天。开始时间配置为每天凌晨0点1分执行。这样CDM每天凌晨自动执行全量迁移，但因为重复文件处理方式选择了跳过重复文件，相同名称且相同大小的文件不迁移，所以只 - [分析数据](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0008.md): 通过DLI直接对OBS数据进行贸易统计分析。DLI创建OBS外表，对OBS表数据存储格式有所要求：使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, P - [车联网大数搬迁入湖简介场景介绍](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0010.md): 为搭建H公司车联网业务集团级的云管理平台，统一管理、部署硬件资源和通用类软件资源，实现IT应用全面服务化、云化，CDM（Cloud Data Migration，简称CDM）助力H公司做到代码“0”改动、数据“0”丢失迁移上云。本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。迁移的 - [迁移准备](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0011.md): CDH HBase的版本号小于或等于MRS HBase的版本号。待迁移的表在迁移过程中不能有写入，Split，Merge等操作。使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。预估迁移数据量、迁移时间。输出详细待迁移数据表、文件个数、大小，用于后续校验。分批配置迁移任务，保证迁移进度与速度。校验文件个数以及文件大小。在MRS - [CDM迁移近一个月的数据](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0012.md): 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。其他场景中，可根据情况选择多个CDM集群同时迁移，加快迁移效率。MRS H - [DES迁移一个月前的历史数据](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0013.md): 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。DES将数据快递到华为云数据中心。使用华为云CDM将DES中的数据迁移到华为云OBS。使用华为云CDM将OBS数据迁移到MRS。其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。当迁移动作影 - [MRS中恢复HBase表](https://support.huaweicloud.com/bestpractice-cdm/cdm_05_0014.md): CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移 ## 性能白皮书 - [迁移作业原理](https://support.huaweicloud.com/pwp-cdm/cdm_03_0001.md): CDM数据迁移时，简化的迁移模型如图1所示。CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM - [性能调优](https://support.huaweicloud.com/pwp-cdm/cdm_03_0002.md): 根据数据迁移模型分析，除了源端读取速度、目的端写入性能、带宽优化外，您也可以通过如下方式优化作业迁移速度：使用大规格CDM集群不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行，建议您选用大规格的CDM集群规格进行数据迁移。 - [参考：作业分片维度](https://support.huaweicloud.com/pwp-cdm/cdm_03_0004.md): CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 - [参考：CDM性能实测数据](https://support.huaweicloud.com/pwp-cdm/cdm_03_0003.md): 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。CDM集群为xlarge规格，2.9.1 200版本。性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和1000 ## 安全白皮书 - [云数据迁移安全简介](https://support.huaweicloud.com/swp-cdm/cdm_06_0001.md): 云数据迁移（Cloud Data Migration，简称CDM）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持多种常用数据源，如客户自建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。CDM适用于以下场景：数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数 - [云数据迁移安全结论](https://support.huaweicloud.com/swp-cdm/cdm_06_0002.md): 只有华为云统一身份认证服务（Identity and Access Management，简称IAM）授权的用户才能访问CDM控制台和API。推拉模式下，CDM在VPC上没有开放侦听端口，用户无法从VPC访问实例，具有高度的安全性。CDM在用户VPC中运行，网络隔离确保数据传输的安全性。支持SSL的数据源，如RDS、SFTP等，可以使用S ## API参考 - [概述](https://support.huaweicloud.com/api-cdm/cdm_02_0002.md): 欢迎使用云数据迁移（Cloud Data Migration，以下简称CDM），该服务提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。您可以使用本文档提供的API对云数据迁移服务进行操作，如创建集群、创建迁移任务等，支持的全部操作 - [终端节点](https://support.huaweicloud.com/api-cdm/endpoint.md): 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。云数据迁移服务的终端节点如表1所示，请您根据业务需要选择对应区域的终端节点。CDM数据集成Endpoint区域名称区域ID终端节点（Endpoint）协议类型华北-北京一cn-north-1cdm.cn-no - [项目ID和账号ID](https://support.huaweicloud.com/api-cdm/projectid_accountid.md): 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。注册并登录管理控制台。在用户名的下拉列表中单击我的凭证。在API凭证页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。注册并登录管理控制台。在用户名的下 - [基本概念](https://support.huaweicloud.com/api-cdm/cdm_02_0098.md): 账号用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建IAM用户并使用他们进行日常管理工作。用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付 - [API概览](https://support.huaweicloud.com/api-cdm/cdm_02_0010.md): CDM所提供的API为自研API。通过配合使用CDM自研API，您可以使用CDM的如下功能。CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。CDM是批量离线迁移工具，不建议客户创建大量小作业场景。 - [构造请求](https://support.huaweicloud.com/api-cdm/making_request.md): 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token接口来说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。请求URI由如下部分组成。{URI-scheme}://{Endpoint}/{resource-path}?{query-string}例如您需要获取华北-北京一区域的 - [认证鉴权](https://support.huaweicloud.com/api-cdm/dataartsstudio_02_0010.md): 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。Token认证：通过Token认证通用请求。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataAr - [返回结果](https://support.huaweicloud.com/api-cdm/cdm_02_0005.md): 请求发送以后，您会收到响应，包含：状态码、响应消息头和响应消息体。状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。对于获取用户Token接口，如果调用后返回状态码为201，则表示请求成功。对应请求消息头，响应同样也有消息头，如Content-type。对于获取用户Token接口，返回如图1 - [应用示例](https://support.huaweicloud.com/api-cdm/cdm_02_0011.md): 本节通过cURL调用CDM API，迁移本地MySQL数据库中的数据到云上服务DWS为例，介绍使用CDM API的基本流程。获取token获取用户的token，因为在后续的请求中需要将token放到请求消息头中作为认证。创建CDM集群如果您已经创建过CDM集群，可以跳过该步骤，直接使用已创建的集群ID。如果您需要使用新的集群执行迁移任务， - [查询集群详情 - ShowClusterDetail](https://support.huaweicloud.com/api-cdm/ShowClusterDetail.md): 查询集群详情接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}状态码：200状态码：200OK。SDK代码示例如下。更多编程语言的 - [删除集群 - DeleteCluster](https://support.huaweicloud.com/api-cdm/DeleteCluster.md): 删除集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。DELETE /v1.1/{project_id}/clusters/{cluster_id}状态码：202状态码：202Accepted。SDK代码示例如下。 - [查询所有可用区 - ShowAvailabilityZones](https://support.huaweicloud.com/api-cdm/ShowAvailabilityZones.md): 查询CDM集群的所有可用区。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/regions/{region_id}/availability_zones状态码：200状态码：2 - [查询支持的版本 - ShowDatastores](https://support.huaweicloud.com/api-cdm/ShowDatastores.md): 查询CDM集群支持的版本。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/datastores状态码：200状态码：200请求成功。SDK代码示例如下。更多编程语言的SDK代码 - [查询版本规格 - ShowFlavors](https://support.huaweicloud.com/api-cdm/ShowFlavors.md): 按版本ID查询所有兼容规格。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/datastores/{datastore_id}/flavors状态码：200状态码：200请求成 - [查询规格详情 - ShowFlavorDetail](https://support.huaweicloud.com/api-cdm/ShowFlavorDetail.md): 查询指定规格ID的规格详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/flavors/{flavor_id}状态码：200状态码：200请求成功。SDK代码示例如下。更多 - [查询所有集群的企业项目ID - ShowEnterpriseProjects](https://support.huaweicloud.com/api-cdm/ShowEnterpriseProjects.md): 查询当前项目下的所有集群的企业项目ID。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/enterprise-projects状态码：200状态码：200请求成功。SDK代码示 - [查询集群的企业项目ID - ShowClusterEnterpriseProjects](https://support.huaweicloud.com/api-cdm/ShowClusterEnterpriseProjects.md): 查询指定集群的企业项目ID。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects状态码：200状态 - [查询集群实例信息 - ShowInstanceDetail](https://support.huaweicloud.com/api-cdm/ShowInstanceDetail.md): 查询集群实例信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/instances/{instance_id}状态码：200状态码：200请求成功。SDK代码示例如下。更多编 - [修改集群 - ModifyCluster](https://support.huaweicloud.com/api-cdm/ModifyCluster.md): 修改CDM集群配置。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/cluster/modify/{cluster_id}状态码：202请求成功。无修改集群配置。无SDK代码 - [重启集群 - RestartCluster](https://support.huaweicloud.com/api-cdm/RestartCluster.md): 重启集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/{cluster_id}/action状态码：200重启集群。状态码：200OK。SDK代码示 - [启动集群 - StartCluster](https://support.huaweicloud.com/api-cdm/StartCluster.md): 启动集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/{cluster_id}/action状态码：200启动集群。状态码：200OK。SDK代码示 - [停止集群（待下线） - StopCluster](https://support.huaweicloud.com/api-cdm/StopCluster.md): 停止集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/{cluster_id}/action状态码：200停止集群状态码：200OK。请参见错误码。 - [创建集群 - CreateCluster](https://support.huaweicloud.com/api-cdm/CreateCluster.md): 创建集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters状态码：202创建一个1.8.10版本，集群名为cdm-ab82的CDM集群。状态码：202Ac - [查询集群列表 - ListClusters](https://support.huaweicloud.com/api-cdm/ListClusters.md): 查询集群列表接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters状态码：200状态码：200OK。SDK代码示例如下。更多编程语言的SDK代码示例，请参见AP - [查询作业 - ShowJobs](https://support.huaweicloud.com/api-cdm/ShowJobs.md): 查询作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}状态码：200状态码：200OK。 - [删除作业 - DeleteJob](https://support.huaweicloud.com/api-cdm/DeleteJob.md): 删除作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}状态码：200OK。状态码： - [修改作业 - UpdateJob](https://support.huaweicloud.com/api-cdm/UpdateJob.md): 修改作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}状态码：200状态码：400修改一 - [随机集群创建作业并执行 - CreateAndStartRandomClusterJob](https://support.huaweicloud.com/api-cdm/CreateAndStartRandomClusterJob.md): 随机集群创建作业并执行接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/job状态码：200在CDM集群ID列表中随机选择一个集群，创建一个源端为ela - [停止作业 - StopJob](https://support.huaweicloud.com/api-cdm/StopJob.md): 停止作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop状态码：200状态码：2 - [指定集群创建作业 - CreateJob](https://support.huaweicloud.com/api-cdm/CreateJob.md): 指定集群创建作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/job状态码：200状态码：400创建一个源端为El - [启动作业 - StartJob](https://support.huaweicloud.com/api-cdm/StartJob.md): 启动作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/start状态码：200启动作业 - [查询作业状态 - ShowJobStatus](https://support.huaweicloud.com/api-cdm/ShowJobStatus.md): 查询作业状态接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status状态码：200状 - [查询作业执行历史 - ShowSubmissions](https://support.huaweicloud.com/api-cdm/ShowSubmissions.md): 查询作业执行历史接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions状态码：200状态码：200OK - [创建连接 - CreateLink](https://support.huaweicloud.com/api-cdm/CreateLink.md): 创建连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/link状态码：200状态码：400状态码：500创建一个名 - [查询连接 - ShowLink](https://support.huaweicloud.com/api-cdm/ShowLink.md): 查询连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name}状态码：200状态码：200O - [删除连接 - DeleteLink](https://support.huaweicloud.com/api-cdm/DeleteLink.md): 删除连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name}状态码：200OK。状态 - [修改连接 - UpdateLink](https://support.huaweicloud.com/api-cdm/UpdateLink.md): 修改连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见权限和授权项。PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name}状态码：200状态码：500修 - [关系数据库连接](https://support.huaweicloud.com/api-cdm/cdm_02_0030.md): 通过JDBC连接，可以对以下关系型数据库抽取、加载数据：云数据库 PostgreSQL云数据库 SQL ServerPostgreSQLMicrosoft SQL Server云数据库 PostgreSQL云数据库 SQL ServerPostgreSQLMicrosoft SQL Server - [OBS连接](https://support.huaweicloud.com/api-cdm/cdm_02_0031.md): 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [HDFS连接](https://support.huaweicloud.com/api-cdm/cdm_02_0032.md): 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 - [HBase连接](https://support.huaweicloud.com/api-cdm/cdm_02_0033.md): 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 - [CloudTable连接](https://support.huaweicloud.com/api-cdm/cdm_02_0085.md): 通过CloudTable连接，可以对CloudTable服务抽取、加载数据。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [Hive连接](https://support.huaweicloud.com/api-cdm/cdm_02_0034.md): 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [FTP/SFTP连接](https://support.huaweicloud.com/api-cdm/cdm_02_0036.md): 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。FTP和SFTP的连接参数相同。 - [MongoDB连接](https://support.huaweicloud.com/api-cdm/cdm_02_0072.md): 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 - [Redis连接](https://support.huaweicloud.com/api-cdm/cdm_02_0037.md): 通过Redis连接，可以对Redis服务器抽取或加载数据。 - [Kafka连接](https://support.huaweicloud.com/api-cdm/cdm_02_0035.md): 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 - [DIS连接](https://support.huaweicloud.com/api-cdm/cdm_02_0075.md): 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 - [Elasticsearch/云搜索服务(CSS)连接](https://support.huaweicloud.com/api-cdm/cdm_02_0076.md): 通过Elasticsearch连接，可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 - [DLI连接](https://support.huaweicloud.com/api-cdm/cdm_02_0070.md): 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 - [CloudTable OpenTSDB连接](https://support.huaweicloud.com/api-cdm/cdm_02_0089.md): 通过OpenTSDB连接，可以从CloudTable OpenTSDB导入导出数据。 - [DMS Kafka连接](https://support.huaweicloud.com/api-cdm/cdm_02_0095.md): 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 - [源端为关系数据库](https://support.huaweicloud.com/api-cdm/cdm_02_0044.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为对象存储](https://support.huaweicloud.com/api-cdm/cdm_02_0045.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为HDFS](https://support.huaweicloud.com/api-cdm/cdm_02_0046.md): HDFS作业参数说明参数是否必选类型说明fromJobConfig.inputDirectory是String待抽取数据的路径，例如：/data_dir。fromJobConfig.inputFormat是枚举传输数据时所用的文件格式，目前支持以下文件格式：CSV_FILE：CSV格式。PARQUET_FILE：PARQUET格式。BIN - [源端为Hive](https://support.huaweicloud.com/api-cdm/cdm_02_0047.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为HBase/CloudTable](https://support.huaweicloud.com/api-cdm/cdm_02_0048.md): HBase/CloudTable作业参数说明参数是否必选类型说明fromJobConfig.table是String需要抽取数据的表名，例如cdm。fromJobConfig.columnFamilies否String抽取数据所属的列族。fromJobConfig.columns否String需要抽取的列，列号之间使用&分割，列族与列之间 - [源端为FTP/SFTP](https://support.huaweicloud.com/api-cdm/cdm_02_0049.md): FTP、SFTP的源端作业参数相同，如表1所示。文件类源端作业参数参数是否必选类型说明fromJobConfig.inputDirectory是String抽取文件的路径。支持输入多个文件路径（最多50个），默认以|分隔，也可以自定义文件分隔符，例如：FROM/example.csv|FROM/b.txt。fromJobConfig.in - [源端为HTTP/HTTPS](https://support.huaweicloud.com/api-cdm/cdm_02_0086.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为MongoDB/DDS](https://support.huaweicloud.com/api-cdm/cdm_02_0071.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Redis](https://support.huaweicloud.com/api-cdm/cdm_02_0050.md): Redis源端作业参数说明参数是否必选类型说明fromJobConfig.isBatchMigration否Boolean是否为整库迁移。fromJobConfig.keyPrefix是Stringkey前缀，对应关系表的表名。Redis和关系表的映射：用关系表的表名+分隔符来对应Redis的Key；关系表的一行数据对应Redis的Val - [源端为DIS](https://support.huaweicloud.com/api-cdm/cdm_02_0078.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Kafka](https://support.huaweicloud.com/api-cdm/cdm_02_0079.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Elasticsearch/云搜索服务](https://support.huaweicloud.com/api-cdm/cdm_02_0067.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为关系数据库](https://support.huaweicloud.com/api-cdm/cdm_02_0052.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为OBS](https://support.huaweicloud.com/api-cdm/cdm_02_0053.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为HDFS](https://support.huaweicloud.com/api-cdm/cdm_02_0054.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为Hive](https://support.huaweicloud.com/api-cdm/cdm_02_0055.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为HBase/CloudTable](https://support.huaweicloud.com/api-cdm/cdm_02_0056.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DDS](https://support.huaweicloud.com/api-cdm/cdm_02_0084.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为Elasticsearch/云搜索服务](https://support.huaweicloud.com/api-cdm/cdm_02_0077.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DLI](https://support.huaweicloud.com/api-cdm/cdm_02_0080.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DIS](https://support.huaweicloud.com/api-cdm/cdm_02_0088.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [作业任务参数说明](https://support.huaweicloud.com/api-cdm/job_parameter.md): 在指定集群创建作业或者随机集群创建作业并执行时，由driver-config-values参数指定作业任务配置，包含如下功能：作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。是否定时执行：可选择作业是否定时自动启动。抽 - [权限及授权项说明](https://support.huaweicloud.com/api-cdm/cdm_02_0007.md): 如果您需要对您所拥有的CDM服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。如果云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用CDM服务。默认情况下，新建的IAM用户没有任何权限，您需要将其加入用户组，并给用户组授予策略或 - [角色与策略授权参考](https://support.huaweicloud.com/api-cdm/abcd.md): CDM支持角色与策略授权，不支持身份策略授权，请参考权限及授权项说明。CDM支持基于系统角色的授权，也支持策略授权。CDM策略授权支持系统策略，也支持自定义策略。角色与策略授权时，支持授权项，请参考权限及授权项说明。 - [状态码](https://support.huaweicloud.com/api-cdm/cdm_02_0012.md): 状态码如表1所示。 - [错误码](https://support.huaweicloud.com/api-cdm/ErrorCode.md): 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时，HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系客服，并提供错误码，以便尽快帮您解决问题。异常响应样例{ "errCode": "Cdm.0100", ## SDK参考 - [SDK概述](https://support.huaweicloud.com/sdkreference-cdm/cdm_05_0001.md): 云数据迁移服务软件开发工具包（CDM SDK，Cloud Data Migration Service Software Development Kit）是对CDM服务提供的REST API进行的封装，以简化开发者的开发工作。通过调用此SDK包提供的代码样例，即可通过API接口对CDM进行相关操作。本文介绍了如何在API Explorer ## CLI参考 - [如何使用CLI](https://support.huaweicloud.com/clir-cdm/cdm_08_0001.md): 华为云命令行工具服务（Koo Command Line Interface，KooCLI，原名HCloud CLI）是为发布在API Explorer上的云服务API提供的命令行管理工具。您可以通过此工具调用API Explorer中CDM开放的API，管理和使用您的CDM资源。关于KooCLI的详细信息，请参见什么是KooCLI。在使用 - [CLI命令参考](https://support.huaweicloud.com/clir-cdm/CDM-cli.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 ## 常见问题 - [CDM与其他数据迁移服务有什么区别，如何选择？](https://support.huaweicloud.com/cdm_faq/cdm_01_0255.md): 华为云上涉及数据迁移的服务有以下几种：云数据迁移服务 CDM对象存储迁移服务 OMS数据复制服务 DRS主机迁移服务 SMS数据库和应用迁移 UGO数据快递服务 DES上述数据迁移服务的区别请参见各个数据迁移服务区别。云数据迁移（Cloud Data Migration，简称CDM）是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云 - [CDM有哪些优势？](https://support.huaweicloud.com/cdm_faq/cdm_01_0056.md): 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 - [CDM有哪些安全防护？](https://support.huaweicloud.com/cdm_faq/cdm_01_0057.md): CDM是一个完全托管的服务，提供了以下安全防护能力保护用户数据安全。实例隔离：CDM服务的用户只能使用自己创建的实例，实例和实例之间是相互隔离的，不可相互访问。系统加固：CDM实例的操作系统进行了特别的安全加固，攻击者无法从Internet访问CDM实例的操作系统。密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度 - [如何降低CDM使用成本？](https://support.huaweicloud.com/cdm_faq/cdm_01_0102.md): 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。具体操作如下：假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。创建NAT网关，注意选择和CDM集群相同的VP - [CDM未使用数据传输功能时，是否会计费？](https://support.huaweicloud.com/cdm_faq/cdm_01_0256.md): CDM集群运行状态下，即便未使用也是正常计费的。如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 - [已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？](https://support.huaweicloud.com/cdm_faq/cdm_01_0260.md): 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格，如果非相同区域和规格，则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面，进入集群管理，单击集群列表中的集群名称查看。如果套餐包和实际的CDM集群具有相同区域和规格，则以下情况也会产生按需费用：如果您先购买按需计费增量包，再购买套餐包，则在购买套餐包之前已经产生的费用以 - [如何查看套餐包的剩余时长？](https://support.huaweicloud.com/cdm_faq/cdm_01_0064.md): 套餐包的剩余时长需要在官网查询。您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 - [套餐包到期未续订或按需资源欠费时，我的数据会保留吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0061.md): 云服务进入宽限期/保留期后，华为云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。宽限期：指客户的包年/包月资源到期未续费、或因余额不足而扣款失败导致欠费时，华为云提供给客户进行续费、还款的时间，宽限期内您无法正常使用部分按需资源，且禁止开通新业务。保留期 - [CDM可以跨账户使用吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0257.md): CDM不支持跨账户使用，可以通过授权给同一账户IAM子用户使用。IAM用户授权操作步骤如下：创建用户组并授权在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。创建用户并加入用户组在IAM控制台创建用户，并将 - [CDM集群是否支持升级操作？](https://support.huaweicloud.com/cdm_faq/cdm_01_0259.md): CDM 2.9.x及后续版本集群支持升级操作，2.8.x及历史版本集群不支持升级操作。历史版本用户如果需要使用高版本集群，则需要重新创建集群并且将低版本集群的作业和连接导入到高版本集群。 - [CDM迁移性能如何？](https://support.huaweicloud.com/cdm_faq/cdm_01_0100.md): 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 - [CDM不同集群规格对应并发的作业数是多少？](https://support.huaweicloud.com/cdm_faq/cdm_01_1111.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [CDM集群可以关机吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0262.md): 2.9.1.200版本以后的集群已不支持集群定时关机、自动开关机功能。 - [CDM与其他数据迁移服务有什么区别，如何选择？](https://support.huaweicloud.com/cdm_faq/cdm_01_0255.md): 华为云上涉及数据迁移的服务有以下几种：云数据迁移服务 CDM对象存储迁移服务 OMS数据复制服务 DRS主机迁移服务 SMS数据库和应用迁移 UGO数据快递服务 DES上述数据迁移服务的区别请参见各个数据迁移服务区别。云数据迁移（Cloud Data Migration，简称CDM）是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云 - [CDM有哪些优势？](https://support.huaweicloud.com/cdm_faq/cdm_01_0056.md): 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 - [CDM有哪些安全防护？](https://support.huaweicloud.com/cdm_faq/cdm_01_0057.md): CDM是一个完全托管的服务，提供了以下安全防护能力保护用户数据安全。实例隔离：CDM服务的用户只能使用自己创建的实例，实例和实例之间是相互隔离的，不可相互访问。系统加固：CDM实例的操作系统进行了特别的安全加固，攻击者无法从Internet访问CDM实例的操作系统。密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度 - [如何降低CDM使用成本？](https://support.huaweicloud.com/cdm_faq/cdm_01_0102.md): 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。具体操作如下：假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。创建NAT网关，注意选择和CDM集群相同的VP - [CDM未使用数据传输功能时，是否会计费？](https://support.huaweicloud.com/cdm_faq/cdm_01_0256.md): CDM集群运行状态下，即便未使用也是正常计费的。如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 - [已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？](https://support.huaweicloud.com/cdm_faq/cdm_01_0260.md): 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格，如果非相同区域和规格，则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面，进入集群管理，单击集群列表中的集群名称查看。如果套餐包和实际的CDM集群具有相同区域和规格，则以下情况也会产生按需费用：如果您先购买按需计费增量包，再购买套餐包，则在购买套餐包之前已经产生的费用以 - [如何查看套餐包的剩余时长？](https://support.huaweicloud.com/cdm_faq/cdm_01_0064.md): 套餐包的剩余时长需要在官网查询。您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 - [套餐包到期未续订或按需资源欠费时，我的数据会保留吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0061.md): 云服务进入宽限期/保留期后，华为云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。宽限期：指客户的包年/包月资源到期未续费、或因余额不足而扣款失败导致欠费时，华为云提供给客户进行续费、还款的时间，宽限期内您无法正常使用部分按需资源，且禁止开通新业务。保留期 - [CDM可以跨账户使用吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0257.md): CDM不支持跨账户使用，可以通过授权给同一账户IAM子用户使用。IAM用户授权操作步骤如下：创建用户组并授权在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。创建用户并加入用户组在IAM控制台创建用户，并将 - [CDM集群是否支持升级操作？](https://support.huaweicloud.com/cdm_faq/cdm_01_0259.md): CDM 2.9.x及后续版本集群支持升级操作，2.8.x及历史版本集群不支持升级操作。历史版本用户如果需要使用高版本集群，则需要重新创建集群并且将低版本集群的作业和连接导入到高版本集群。 - [CDM迁移性能如何？](https://support.huaweicloud.com/cdm_faq/cdm_01_0100.md): 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 - [CDM不同集群规格对应并发的作业数是多少？](https://support.huaweicloud.com/cdm_faq/cdm_01_1111.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [CDM集群可以关机吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0262.md): 2.9.1.200版本以后的集群已不支持集群定时关机、自动开关机功能。 - [是否支持增量迁移？](https://support.huaweicloud.com/cdm_faq/cdm_01_0059.md): CDM是否支持增量迁移？CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移：文件增量迁移关系数据库增量迁移HBase/CloudTable增量迁移详情请参见增量迁移。 - [是否支持字段转换？](https://support.huaweicloud.com/cdm_faq/cdm_01_0060.md): 支持，CDM支持以下字段转换器：脱敏去前后空格字符串反转字符串替换表达式转换在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器隐藏字符串中的关键信息，例如要将12345678910转换为123****8910，则配置如下：起始保留长度为3。结尾保留长度为4。替换字符为*。起始保留长度为3。结尾保留长度为4。 - [Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？](https://support.huaweicloud.com/cdm_faq/cdm_01_0216.md): 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 - [数据源为Hive时支持哪些数据格式？](https://support.huaweicloud.com/cdm_faq/cdm_01_0055.md): 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 - [是否支持同步作业到其他集群？](https://support.huaweicloud.com/cdm_faq/cdm_01_0069.md): CDM是否支持同步作业到其他集群？CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下：将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用Add password here替换。在本地编辑JS - [是否支持批量创建作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0070.md): CDM是否支持批量创建作业？CDM可以通过批量导入的功能，实现批量创建作业，方法如下：手动创建一个作业。导出作业，将作业的JSON文件保存到本地。编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。将JSON文件导入CDM集群，实现批量创建作业。您也可以参考通过CDM算子批量创建分表迁移作业，配合For Each算子， - [是否支持批量调度作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0203.md): CDM是否支持批量调度作业？支持。访问DataArts Studio服务的数据开发模块。在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”，新建作业。拖动多个CDM Job节点至画布，然后再编排作业。 - [如何备份CDM作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0071.md): 如何备份CDM作业？用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 - [如何解决HANA集群只有部分节点和CDM集群网络互通？](https://support.huaweicloud.com/cdm_faq/cdm_01_0304.md): HANA集群只有部分节点和CDM集群网络互通，怎么办？如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置：关闭HANA集群的Statement Routing开关。但须注意，关闭Statement Routing，会增加配置节点的压力。新建HANA连接时，在高级属性中添加属性“distrib - [如何使用Java调用CDM的Rest API创建数据迁移作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0072.md): CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。需要提前准备以下数据：云账号的用户名、账号名和项目ID。创建一个CDM集群，并获取集群ID。获 - [如何将云下内网或第三方云上的私网与CDM连通？](https://support.huaweicloud.com/cdm_faq/cdm_01_0300.md): 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络：如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可 - [CDM是否支持参数或者变量？](https://support.huaweicloud.com/cdm_faq/cdm_01_1100.md): CDM是否支持参数或者变量？支持。如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 - [CDM迁移作业的抽取并发数应该如何设置？](https://support.huaweicloud.com/cdm_faq/cdm_01_0301.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [CDM是否支持动态数据实时迁移功能？](https://support.huaweicloud.com/cdm_faq/cdm_01_0314.md): CDM是否支持动态数据实时迁移功能？不支持。如果源端在迁移过程中写数据，可能会出现报错。 - [CDM是否支持集群关机功能？](https://support.huaweicloud.com/cdm_faq/cdm_01_0315.md): CDM是否支持集群关机功能？不支持。从2022年4月开始，CDM已不再支持集群关机功能。当集群关机时，其底层资源可能会被占用，导致集群可能无法正常开机使用。 - [如何使用表达式方式获取当前时间？](https://support.huaweicloud.com/cdm_faq/cdm_01_1137.md): 如何使用表达式方式获取当前时间？您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 - [在创建迁移作业时，where语句参数中的时间格式是怎样的？](https://support.huaweicloud.com/cdm_faq/cdm_01_0317.md): 在创建迁移作业时，where语句参数中的时间格式是怎样的？请参考Mysql日期、时间字段类型语法特性：https://dev.mysql.com/doc/refman/8.0/en/datetime.html。 - [CDM作业可以将源表中的字段注释迁移到目标端表吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0318.md): CDM作业可以将源表中的字段注释迁移到目标端表吗？不同版本支持的情况不一样。具体如下：2.8.6.1版本支持，2.9.1版本不支持，2.9.2.1版本支持。 - [如何查询数据连接创建人？](https://support.huaweicloud.com/cdm_faq/cdm_01_1183.md): 如何查询数据连接创建人？目前有两种方法可以看到。进入云审计服务CTS主界面，事件来源选择CDM，资源类型选择link，就可以看到所有关于CDM连接管理的操作，更多详情请参见支持云审计的关键操作。通过华为云开发工具调用API（API Explorer）方式查看连接，详情请参见查询连接。 - [CDM是否支持变更集群规格？](https://support.huaweicloud.com/cdm_faq/cdm_01_0263.md): 支持。当用户业务量超出集群的承载能力时，需要增加更多的资源（如CPU和内存）以支持更高的业务需求。您可以通过变更规格来提升集群的性能，从而支持更大规模的业务量。规格变更基于ECS弹性云服务器的基础能力，通过增加集群的CPU和内存资源来实现。整个变更过程需要停止集群，因此建议用户合理安排变更时间，以避免对业务造成影响。在变更规格前，请检查当 - [是否支持增量迁移？](https://support.huaweicloud.com/cdm_faq/cdm_01_0059.md): CDM是否支持增量迁移？CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移：文件增量迁移关系数据库增量迁移HBase/CloudTable增量迁移详情请参见增量迁移。 - [是否支持字段转换？](https://support.huaweicloud.com/cdm_faq/cdm_01_0060.md): 支持，CDM支持以下字段转换器：脱敏去前后空格字符串反转字符串替换表达式转换在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器隐藏字符串中的关键信息，例如要将12345678910转换为123****8910，则配置如下：起始保留长度为3。结尾保留长度为4。替换字符为*。起始保留长度为3。结尾保留长度为4。 - [Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？](https://support.huaweicloud.com/cdm_faq/cdm_01_0216.md): 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 - [数据源为Hive时支持哪些数据格式？](https://support.huaweicloud.com/cdm_faq/cdm_01_0055.md): 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 - [是否支持同步作业到其他集群？](https://support.huaweicloud.com/cdm_faq/cdm_01_0069.md): CDM是否支持同步作业到其他集群？CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下：将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用Add password here替换。在本地编辑JS - [是否支持批量创建作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0070.md): CDM是否支持批量创建作业？CDM可以通过批量导入的功能，实现批量创建作业，方法如下：手动创建一个作业。导出作业，将作业的JSON文件保存到本地。编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。将JSON文件导入CDM集群，实现批量创建作业。您也可以参考通过CDM算子批量创建分表迁移作业，配合For Each算子， - [是否支持批量调度作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0203.md): CDM是否支持批量调度作业？支持。访问DataArts Studio服务的数据开发模块。在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”，新建作业。拖动多个CDM Job节点至画布，然后再编排作业。 - [如何备份CDM作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0071.md): 如何备份CDM作业？用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 - [如何解决HANA集群只有部分节点和CDM集群网络互通？](https://support.huaweicloud.com/cdm_faq/cdm_01_0304.md): HANA集群只有部分节点和CDM集群网络互通，怎么办？如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置：关闭HANA集群的Statement Routing开关。但须注意，关闭Statement Routing，会增加配置节点的压力。新建HANA连接时，在高级属性中添加属性“distrib - [如何使用Java调用CDM的Rest API创建数据迁移作业？](https://support.huaweicloud.com/cdm_faq/cdm_01_0072.md): CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。需要提前准备以下数据：云账号的用户名、账号名和项目ID。创建一个CDM集群，并获取集群ID。获 - [如何将云下内网或第三方云上的私网与CDM连通？](https://support.huaweicloud.com/cdm_faq/cdm_01_0300.md): 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络：如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可 - [CDM是否支持参数或者变量？](https://support.huaweicloud.com/cdm_faq/cdm_01_1100.md): CDM是否支持参数或者变量？支持。如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 - [CDM迁移作业的抽取并发数应该如何设置？](https://support.huaweicloud.com/cdm_faq/cdm_01_0301.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [CDM是否支持动态数据实时迁移功能？](https://support.huaweicloud.com/cdm_faq/cdm_01_0314.md): CDM是否支持动态数据实时迁移功能？不支持。如果源端在迁移过程中写数据，可能会出现报错。 - [CDM是否支持集群关机功能？](https://support.huaweicloud.com/cdm_faq/cdm_01_0315.md): CDM是否支持集群关机功能？不支持。从2022年4月开始，CDM已不再支持集群关机功能。当集群关机时，其底层资源可能会被占用，导致集群可能无法正常开机使用。 - [如何使用表达式方式获取当前时间？](https://support.huaweicloud.com/cdm_faq/cdm_01_1137.md): 如何使用表达式方式获取当前时间？您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 - [在创建迁移作业时，where语句参数中的时间格式是怎样的？](https://support.huaweicloud.com/cdm_faq/cdm_01_0317.md): 在创建迁移作业时，where语句参数中的时间格式是怎样的？请参考Mysql日期、时间字段类型语法特性：https://dev.mysql.com/doc/refman/8.0/en/datetime.html。 - [CDM作业可以将源表中的字段注释迁移到目标端表吗？](https://support.huaweicloud.com/cdm_faq/cdm_01_0318.md): CDM作业可以将源表中的字段注释迁移到目标端表吗？不同版本支持的情况不一样。具体如下：2.8.6.1版本支持，2.9.1版本不支持，2.9.2.1版本支持。 - [如何查询数据连接创建人？](https://support.huaweicloud.com/cdm_faq/cdm_01_1183.md): 如何查询数据连接创建人？目前有两种方法可以看到。进入云审计服务CTS主界面，事件来源选择CDM，资源类型选择link，就可以看到所有关于CDM连接管理的操作，更多详情请参见支持云审计的关键操作。通过华为云开发工具调用API（API Explorer）方式查看连接，详情请参见查询连接。 - [CDM是否支持变更集群规格？](https://support.huaweicloud.com/cdm_faq/cdm_01_0263.md): 支持。当用户业务量超出集群的承载能力时，需要增加更多的资源（如CPU和内存）以支持更高的业务需求。您可以通过变更规格来提升集群的性能，从而支持更大规模的业务量。规格变更基于ECS弹性云服务器的基础能力，通过增加集群的CPU和内存资源来实现。整个变更过程需要停止集群，因此建议用户合理安排变更时间，以避免对业务造成影响。在变更规格前，请检查当 - [日志提示解析日期格式失败时怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0041.md): 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示Unparseable date，如图1所示。日志提示信息云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信息，在Kibana可视化的时候，Kibana会认为该时间为GMT标准时间。在各个地区会产生日志显示时间与 - [字段映射界面无法显示所有列怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0099.md): 在使用CDM从HBase/CloudTable导出数据时，在字段映射界面HBase/CloudTable表的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造 - [CDM迁移数据到DWS时如何选取分布列？](https://support.huaweicloud.com/cdm_faq/cdm_01_0117.md): CDM迁移数据到DWS时如何选取分布列？在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。由于分布列的选取，对于DWS/FusionInsight LibrA的运行非常重要，在CDM数据迁移到DWS/Fusio - [迁移到DWS时出现value too long for type character varying怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0119.md): 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA时，如果迁移作业失败，且执行日志中出现value too long for type character varying错误提示，如图1所示。这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar - [OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0154.md): 使用CDM从OBS导入数据到SQL Server时，作业运行失败，错误提示为：Unable to execute the SQL statement. Cause : 将截断字符串或二进制数据。用户OBS中的数据超出了SQL Server数据库的字段长度限制。在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中 - [获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？](https://support.huaweicloud.com/cdm_faq/cdm_01_0155.md): 在使用CDM时，可能遇到如下权限相关的问题：跳转到CDM首页，获取到的集群列表为空。提示没有权限访问，如图1所示。执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。以上所列的问题均属于权限配置问题。如果是作为DataArts Studio服务CDM组件使用：检查用户是否添加DAYU Administrator或DAYU - [Oracle迁移到DWS报错ORA-01555](https://support.huaweicloud.com/cdm_faq/cdm_01_1102.md): 使用CDM迁移Oracle数据至DWS，报错图1所示。数据迁移，整表查询且该表数据量大，那么查询时间较长。查询过程中，其他用户频繁进行commit操作。Oracle的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。调小每次查询的数据量。通过修改数据库配置调大Oracle的RBS。 - [MongoDB连接迁移失败时如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1103.md): MongoDB连接迁移失败时如何处理？在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 - [Hive迁移作业长时间卡顿怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1105.md): Hive迁移作业长时间卡顿怎么办？为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置：属性名称：hive.server2.idle.operation.timeout值：10m如图所示： - [使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1106.md): 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too - [MySQL迁移时报错“JDBC连接超时”怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1107.md): MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out。这种情况是由于表数据量较大，并且源端通过where语句过滤，但并非索引列，或列值不离散，查询会全表扫描，导致JDBC连接超时。例如图1所示c_date字段为非索引列。优先联系DBA修改 - [创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1108.md): 创建了Hive到DWS类型的连接，进行CDM传输任务失败。建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 - [如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？](https://support.huaweicloud.com/cdm_faq/cdm_01_1109.md): 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。 - [如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？](https://support.huaweicloud.com/cdm_faq/cdm_01_1110.md): CDM从OBS迁移数据到DLI出现迁移中断失败。此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 - [报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？](https://support.huaweicloud.com/cdm_faq/cdm_01_1133.md): 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。当同时存在多个不同版本的集群，先在低版本CDM集群创建数据连接或保存作业时后，再进入高版本CDM集群时，会偶现此类故障。需手动清理浏览 - [新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1114.md): 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。新建MRS Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户 - [迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1134.md): 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”。场景一：由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头， - [创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1135.md): 创建Oracle关系型数据库迁移作业时，无法获取模式名。这是由于可能上传了暂不支持的最新ORACLE_8驱动（如Oracle Database 21c (21.3) drivers）。推荐使用Oracle Database 12c中的ojdbc8.jar驱动，下载地址：https://www.oracle.com/database/tec - [MySQL迁移时报错：invalid input syntax for integer: "true"](https://support.huaweicloud.com/cdm_faq/cdm_01_1138.md): 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL statement. Cause: ERROR: invalid input syntax for integer: "true" Where: COPY sd_ma - [作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1152.md): 是Oracle的约束限制导致，迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION，同时调整UNDO表空间大小即可。 - [整库迁移到Hive，报错Identifier name is too long如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1153.md): 迁移任务报错表名太长，但表名实际没有这么长。在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。缩短实际表的表名长度。 - [迁移数据到DLI时有数据丢失怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1155.md): 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。查看客户的作业配置，客户并发数设置的是3，如图所示。查看DLI官网文档不建议同时对一张表并发插入数据。将作业的抽取并发数改成1 ，重跑作业问题解决。 - [创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？](https://support.huaweicloud.com/cdm_faq/cdm_01_1156.md): 创建Oracle数据连接，创建连接时测试连通性成功。在连接管理界面中，测试Oracle数据连接失败。提示如下信息：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息 ORA-01005 null password given. logon denied(Cdm 0941)。请检查I - [作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1157.md): 迁移SQL Server数据到DWS，目的端配置了当表不存在时自动创建，目的端字段映射不出来 ，如下图所示。查看后端日志报：org.postgresql.util.PSQLException: ERROR: relation "表名" does not exist。怀疑是CDM 集群开启沙箱所导致的，后端对集群取消沙箱，重启CDM 集群后 - [作业从旧集群导出，再导入到新的集群失败怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1158.md): 旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。让客户在导出的json 文件中将删除以下配置项，重新导入作 - [迁移HDFS文件，报错无法获取块怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1159.md): 用户HDFS为线下自建的，往OBS迁移文件建立好连接器后，测试源端和目的端的连通性都是没问题的。任务启动时报如下错误：使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。注：9866 - [创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1160.md): 创建MRS连接器报如下错误，在Manager检查用户权限是有的，检查网络也都是通的。登录Manager初始化用户后，重新建立数据连接即可。 - [CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1161.md): 作业管理页面访问不了，提示网络或服务器异常，请重试的报错。F12看下接口返回都正常。查看CDM集群各项指标是否正常：如磁盘、内存、CPU。如果CDM集群以上指标都正常，用户侧清理浏览器缓存之后重新单击作业管理即可。 - [通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？](https://support.huaweicloud.com/cdm_faq/cdm_01_1162.md): 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。初步怀疑是源端和目标端在字段类型转换出现异常。将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。配置开启脏数 - [CDM迁移DWS数据报错Read timedout怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1163.md): 客户使用cdm迁移DWS A集群表数据到DWS B集群，成功写入部分后报错：作业配置中源端目标端均通过where语句多条件过滤，并非索引列，查询会全表扫描，且数据量在上亿行，数据量庞大，导致JDBC数据库连接失败，读取数据超时，进而导致sqoop异常，作业失败。迁移作业是CDM作为客户端先从源数据中抽取部分数据，写到目标端，再进行下一次部 - [CDM集群Hive连接无法查询库和表的内容](https://support.huaweicloud.com/cdm_faq/cdm_01_1164.md): cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案：get_table_req。用户的MRS集群是1.8.1，CDM为2.6.0。报错看CDM封装的Hive SDK无法识别Hive数据源， 但Hive连接器测试连通性是正常的，于是仔细检查Hive的连接器配置的参数。 - [创建FusionInsight HDFS连接报错get filesystem怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1165.md): 创建FusionInsight HDFS数据连接时，测试连通性提示获取文件系统失败的问题。客户使用的管理ip有误，正确的ip使用的是集群的一个浮动ip，端口使用HDFS的webui的端口即可解决。 - [Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1166.md): 导入了4000W数据，快执行完时报如下错误。联系用户核实，确实选择队列不是SQL队列。并且查询资源得知，账户名下队列没有SQL队列，让用户购买DLI-SQL队列进行迁移同步。 - [作业配置添加字段，MongoDB字段映射存在问题](https://support.huaweicloud.com/cdm_faq/cdm_01_1167.md): CDM作业配置源端MongoDB添加字段，目的端MongoDB数据库字段映射，作业运行后，目的端数据库查看，数据存在问题，没有迁移成功。这里不影响作业映射已有字段，combine()中是包含所有新增字段的json串，目的端sql进行处理即可获取数据。 - [DLI外表(OBS文件)迁移DWS某字段转义，带有“\”](https://support.huaweicloud.com/cdm_faq/cdm_01_1168.md): DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。源端：目的端：根据截图可以看出，源端样值中有符号：{ 括号 ”引号，等特殊符号，jdbc驱动会字段转义，导致目的端显示带有转义符号。DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号 - [执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”](https://support.huaweicloud.com/cdm_faq/cdm_01_1169.md): 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。排查客户CDM昨天日志报错发现报错：2021-09-29 10:35:32,638 ERROR LocalJobRunner Map Task #13 #loader [org.apache.sqoop.co - [迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1170.md): Mysql-TO-DWS迁移过程中，报错“ GENERIC_JDBC_CONNECTOR_0904:ERROR occurs while retrieving data from result. Cause : closed connection:stream closed con:192.168.XX.XX.”。考虑用户数据量大，或连接 - [迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1171.md): MySql-TO-DLI迁移报错，java.lang.NumberFormatException：For input string："false"。根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。根据上一步字段映射分析，其中"sup - [迁移MySql到DWS，TINYINT类型迁移报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1172.md): 使用CDM从MySql迁移到DWS，运行作业报错“ERROR:value '-1'is out of range for 8 b-bit integer”。根据问题现象，目的端类型不支持值为“-1”插入，检查目的端字段映射，排查映射问题。根据上一步字段映射情况判断，进一步排查建表语句。根据以上截图分析，INT1就是DWS字段类型TINYI - [数据迁移前后数据量不一致是什么问题？](https://support.huaweicloud.com/cdm_faq/cdm_01_1173.md): 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。目的端配置为导入开始前“清空全部数据”，验证后，源/目的端条数一致。 - [创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错](https://support.huaweicloud.com/cdm_faq/cdm_01_1174.md): 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。再次核实账号密码无误，是用户使用Mysql账号没有给CDM集群授权，用户侧Mysql数据库需要对cdm集群的ip授权。 - [数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在](https://support.huaweicloud.com/cdm_faq/cdm_01_1175.md): 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。让客户在连接配置高级属性添加包围符配置，问题解决。 - [CSV数据类型插入MySQL报错invalid utf-8 charater string ''](https://support.huaweicloud.com/cdm_faq/cdm_01_1176.md): 迁移作业执行失败，提示invalid utf-8 charater string ''。考虑是数据格式问题，后端进一步分析日志确认。后台排查sqoop日志，考虑源端数据类型格式问题导致异常。分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 - [定时任务失败，检查连接器连接存在问题](https://support.huaweicloud.com/cdm_faq/cdm_01_1177.md): CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题：请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。从结果看考虑是CDM集群自身问题。通过EIP查询对应公网IP的绑定情况是未绑定的。建议先解除 - [脏数据导致CSV数据类型问题插入MySQL报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1178.md): 客户作业失败，提示invalid utf-8 charater string ''。根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题。在CDM作业中 - [写ES报timeout waiting for connection from pool错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1179.md): 写ES报timeout waiting for connection from pool，且日志中输出多个es_rejected_execution_exception。从cerebro界面看到索引只有一个分片。但新建一个索引设成3个分片也是一样会报es_rejected_execution_exception。继续定位发现记录几乎都写入 - [Oracle迁移到DWS报错ORA-01555](https://support.huaweicloud.com/cdm_faq/cdm_01_1180.md): Oracle迁移到DWS报错ORA-01555。整库迁移每个表中数据平均2~5亿条。源端10分钟会更新一次数据。CDM不支持实时迁移，但是支持定时迁移，用户10分钟就会有批量数据更新，考虑是迁移任务没有完成，源库已经更新，回滚超时。Oracle报错ORA-01555，数据迁移如果做整表查询，并且查询时间较长时，这个过程有其他用户进行频繁c - [FTP测试连通性失败，报服务器内部错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1181.md): ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录，安全组21、20端口正常放通，但是在创建FTP的数据连接报服务器内部错误。查询后台日志，报错为连接超时，截图如下，可能是安全组限制导致。安全组全部放通进行验证，连通性测试成功。针对FTP服务器的防火墙来说，必须允许以下通讯才能支持主动方式FTP：1. 任何大于1 - [CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1182.md): CDM连接RDS-Mysql ，除root用户外，其他用户都报错。登录服务器，运行命令进入数据库：mysql -u root –p，然后输入密码。执行：mysql>use mysql;授权：例如想root使用123456从任何主机连接到mysql服务器：mysql>GRANT ALL PRIVILEGES ON *.* TO 'root' - [MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1184.md): MRS Hive，MRS Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。用户名：admin密码：创建集群时的密码创建MRS数据源连接时，认证类型要与MRS集群是否开启KERBEROS保持一致。 - [CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1195.md): 在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式，但是没有生效。客户侧的null是null字符串，而非null空值，所以null字符串无法转化，null空值的查询条件是 is null。 - [当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1196.md): 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。call update_hoodie_properties(table=>'$tableName', property=>'hoodie.table.partition.fields', value=>'name')alter table $t - [当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1296.md): 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”，可能是由于源端发生主备倒换，源端出现网络波动等原因导致，建议作业配置失败后重试。 - [RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常](https://support.huaweicloud.com/cdm_faq/cdm_01_1297.md): 使用开源Mysql驱动连接RDS-Mysql，date范围小于1000-01-0的情况下，date数据转换异常。RDS-Mysql和开源Mysql对于date类型的范围不一致。开源Mysql的date范围一般为1000-01-0到9999-12-21，而RDS-Mysql支持date范围小于1000-01-0。使用开源Mysql驱动连接R - [通过json方式导入的作业，sql server迁移到hive，执行作业报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1300.md): 客户通过json的方式导入作业，从sql server迁移数据到hive，执行作业报：操作数数据类型bit 对min 运算无效。客户作业中配置的并发数大于1，CDM会选择分区列进行分区迁移，默认情况：取主键字段，如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是 - [Hudi源端的作业长时间处于BOOTING状态怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1142.md): 在Hudi源端读Hudi作业长时间处于BOOTING状态。除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。查看Yarn任务，搜索S - [Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1143.md): 读Hudi作业字段映射多了一列col，作业执行失败。使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array，名称为col的列。字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 - [Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1144.md): cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create table statement is not equal to the table schema”。从metastore中 - [Hudi目的端的作业失败，日志报错Read Timeout怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1145.md): 作业日志报错Read time out，日志如下：确认MRS集群的JdbcServer是多实例模式还是多租模式。如果是多实例模式，跳转3。否则跳转2。如果是多实例模式，跳转3。否则跳转2。多租户模式下，确认其他租户的作业是否正常。如果所有租户的作业执行spark sql都有问题，跳转3。否则，跳转4。如果所有租户的作业执行spark sq - [Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1146.md): CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark SQL过程中，需要等Spark SQL执行完作业才会结束。打开日志，搜索insert into，找到如下的日志，根据日志中打印 - [Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1147.md): 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。集群并发数到达上限联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：cluster running task，如果运行的并发数与available的并发数一致，则说明 - [Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1148.md): 报错：hoodie table path not found。报错：写入记录中存在空值，写入失败。报错：killed by external signal。报错：java.lang.IllegalArgumentException。表在metastore中存在，但不是Hudi表，或者表在metastore中存在，但是表目录不存在，根因是在 - [Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1149.md): 作业执行过程中，由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。日志中出现源端的read timeout报错，或者terminate by xxx之类的报错。如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失 - [Doris测试连接失败超时或者报vpc 或者安全组是否连通?](https://support.huaweicloud.com/cdm_faq/cdm_01_1305.md): CDM集群为24.x.x版本时，Doris测试连接失败超时或者报vpc 或者安全组是否连通。查看CDM 到Doris ip 和端口是否连通。排查命令：curl -kv {ip}：{port}查看是否连通，需要查看的端口号（mysql query端口9030， http端口：比如8030，https 端口8050）。如果不通，打通ip和端口 - [Doris测试连接报unrecogized ssl message时怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1306.md): CDM集群为24.x.x版本时，Doris测试连接报unrecogized ssl message。Doris端口配置错误。enable_https 是否为true。query_port(mysql 端口的) 是否为9030。http_port 一般为8030。https_port 一般为8050。如何enable_https =true - [Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1307.md): CDM集群为24.x.x版本时，Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull。首先要清楚zeroDateTimeBehavior参数的含义。zeroDateTimeBehavior参数是MySQL用来控制对零日期时间（空值或者0000-00-0 - [Doris连接报错 Invalid type or not supported type怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1308.md): CDM集群为24.x.x版本时，Doris连接报错 Invalid type or not suppprted type。1、查看CDM集群后台 framework.log没有报错，正常连接。2、尝试把管理中心的其他组件都去掉，只保留数据集成测试成功。3、Doris开启了https，cloudtable Doris 的streamLoa - [Doris写入数据时报错怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1309.md): CDM集群为24.x.x版本时，Doris写入数据时报错 java.sql.BatchUpdateException: AnalysisException， msg: Invalid decimal literal。CDM集群为24.x.x版本时，Doris写入数据时报错 java.sql.SQLException: Parameter - [日志提示解析日期格式失败时怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0041.md): 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示Unparseable date，如图1所示。日志提示信息云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信息，在Kibana可视化的时候，Kibana会认为该时间为GMT标准时间。在各个地区会产生日志显示时间与 - [字段映射界面无法显示所有列怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0099.md): 在使用CDM从HBase/CloudTable导出数据时，在字段映射界面HBase/CloudTable表的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造 - [CDM迁移数据到DWS时如何选取分布列？](https://support.huaweicloud.com/cdm_faq/cdm_01_0117.md): CDM迁移数据到DWS时如何选取分布列？在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。由于分布列的选取，对于DWS/FusionInsight LibrA的运行非常重要，在CDM数据迁移到DWS/Fusio - [迁移到DWS时出现value too long for type character varying怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0119.md): 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA时，如果迁移作业失败，且执行日志中出现value too long for type character varying错误提示，如图1所示。这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar - [OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_0154.md): 使用CDM从OBS导入数据到SQL Server时，作业运行失败，错误提示为：Unable to execute the SQL statement. Cause : 将截断字符串或二进制数据。用户OBS中的数据超出了SQL Server数据库的字段长度限制。在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中 - [获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？](https://support.huaweicloud.com/cdm_faq/cdm_01_0155.md): 在使用CDM时，可能遇到如下权限相关的问题：跳转到CDM首页，获取到的集群列表为空。提示没有权限访问，如图1所示。执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。以上所列的问题均属于权限配置问题。如果是作为DataArts Studio服务CDM组件使用：检查用户是否添加DAYU Administrator或DAYU - [Oracle迁移到DWS报错ORA-01555](https://support.huaweicloud.com/cdm_faq/cdm_01_1102.md): 使用CDM迁移Oracle数据至DWS，报错图1所示。数据迁移，整表查询且该表数据量大，那么查询时间较长。查询过程中，其他用户频繁进行commit操作。Oracle的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。调小每次查询的数据量。通过修改数据库配置调大Oracle的RBS。 - [MongoDB连接迁移失败时如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1103.md): MongoDB连接迁移失败时如何处理？在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 - [Hive迁移作业长时间卡顿怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1105.md): Hive迁移作业长时间卡顿怎么办？为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置：属性名称：hive.server2.idle.operation.timeout值：10m如图所示： - [使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1106.md): 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too - [MySQL迁移时报错“JDBC连接超时”怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1107.md): MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out。这种情况是由于表数据量较大，并且源端通过where语句过滤，但并非索引列，或列值不离散，查询会全表扫描，导致JDBC连接超时。例如图1所示c_date字段为非索引列。优先联系DBA修改 - [创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1108.md): 创建了Hive到DWS类型的连接，进行CDM传输任务失败。建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 - [如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？](https://support.huaweicloud.com/cdm_faq/cdm_01_1109.md): 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。 - [如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？](https://support.huaweicloud.com/cdm_faq/cdm_01_1110.md): CDM从OBS迁移数据到DLI出现迁移中断失败。此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 - [报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？](https://support.huaweicloud.com/cdm_faq/cdm_01_1133.md): 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。当同时存在多个不同版本的集群，先在低版本CDM集群创建数据连接或保存作业时后，再进入高版本CDM集群时，会偶现此类故障。需手动清理浏览 - [新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1114.md): 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。新建MRS Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户 - [迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1134.md): 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”。场景一：由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头， - [创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1135.md): 创建Oracle关系型数据库迁移作业时，无法获取模式名。这是由于可能上传了暂不支持的最新ORACLE_8驱动（如Oracle Database 21c (21.3) drivers）。推荐使用Oracle Database 12c中的ojdbc8.jar驱动，下载地址：https://www.oracle.com/database/tec - [MySQL迁移时报错：invalid input syntax for integer: "true"](https://support.huaweicloud.com/cdm_faq/cdm_01_1138.md): 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL statement. Cause: ERROR: invalid input syntax for integer: "true" Where: COPY sd_ma - [作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1152.md): 是Oracle的约束限制导致，迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION，同时调整UNDO表空间大小即可。 - [整库迁移到Hive，报错Identifier name is too long如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1153.md): 迁移任务报错表名太长，但表名实际没有这么长。在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。缩短实际表的表名长度。 - [迁移数据到DLI时有数据丢失怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1155.md): 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。查看客户的作业配置，客户并发数设置的是3，如图所示。查看DLI官网文档不建议同时对一张表并发插入数据。将作业的抽取并发数改成1 ，重跑作业问题解决。 - [创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？](https://support.huaweicloud.com/cdm_faq/cdm_01_1156.md): 创建Oracle数据连接，创建连接时测试连通性成功。在连接管理界面中，测试Oracle数据连接失败。提示如下信息：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息 ORA-01005 null password given. logon denied(Cdm 0941)。请检查I - [作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1157.md): 迁移SQL Server数据到DWS，目的端配置了当表不存在时自动创建，目的端字段映射不出来 ，如下图所示。查看后端日志报：org.postgresql.util.PSQLException: ERROR: relation "表名" does not exist。怀疑是CDM 集群开启沙箱所导致的，后端对集群取消沙箱，重启CDM 集群后 - [作业从旧集群导出，再导入到新的集群失败怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1158.md): 旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。让客户在导出的json 文件中将删除以下配置项，重新导入作 - [迁移HDFS文件，报错无法获取块怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1159.md): 用户HDFS为线下自建的，往OBS迁移文件建立好连接器后，测试源端和目的端的连通性都是没问题的。任务启动时报如下错误：使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。注：9866 - [创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1160.md): 创建MRS连接器报如下错误，在Manager检查用户权限是有的，检查网络也都是通的。登录Manager初始化用户后，重新建立数据连接即可。 - [CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1161.md): 作业管理页面访问不了，提示网络或服务器异常，请重试的报错。F12看下接口返回都正常。查看CDM集群各项指标是否正常：如磁盘、内存、CPU。如果CDM集群以上指标都正常，用户侧清理浏览器缓存之后重新单击作业管理即可。 - [通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？](https://support.huaweicloud.com/cdm_faq/cdm_01_1162.md): 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。初步怀疑是源端和目标端在字段类型转换出现异常。将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。配置开启脏数 - [CDM迁移DWS数据报错Read timedout怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1163.md): 客户使用cdm迁移DWS A集群表数据到DWS B集群，成功写入部分后报错：作业配置中源端目标端均通过where语句多条件过滤，并非索引列，查询会全表扫描，且数据量在上亿行，数据量庞大，导致JDBC数据库连接失败，读取数据超时，进而导致sqoop异常，作业失败。迁移作业是CDM作为客户端先从源数据中抽取部分数据，写到目标端，再进行下一次部 - [CDM集群Hive连接无法查询库和表的内容](https://support.huaweicloud.com/cdm_faq/cdm_01_1164.md): cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案：get_table_req。用户的MRS集群是1.8.1，CDM为2.6.0。报错看CDM封装的Hive SDK无法识别Hive数据源， 但Hive连接器测试连通性是正常的，于是仔细检查Hive的连接器配置的参数。 - [创建FusionInsight HDFS连接报错get filesystem怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1165.md): 创建FusionInsight HDFS数据连接时，测试连通性提示获取文件系统失败的问题。客户使用的管理ip有误，正确的ip使用的是集群的一个浮动ip，端口使用HDFS的webui的端口即可解决。 - [Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1166.md): 导入了4000W数据，快执行完时报如下错误。联系用户核实，确实选择队列不是SQL队列。并且查询资源得知，账户名下队列没有SQL队列，让用户购买DLI-SQL队列进行迁移同步。 - [作业配置添加字段，MongoDB字段映射存在问题](https://support.huaweicloud.com/cdm_faq/cdm_01_1167.md): CDM作业配置源端MongoDB添加字段，目的端MongoDB数据库字段映射，作业运行后，目的端数据库查看，数据存在问题，没有迁移成功。这里不影响作业映射已有字段，combine()中是包含所有新增字段的json串，目的端sql进行处理即可获取数据。 - [DLI外表(OBS文件)迁移DWS某字段转义，带有“\”](https://support.huaweicloud.com/cdm_faq/cdm_01_1168.md): DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。源端：目的端：根据截图可以看出，源端样值中有符号：{ 括号 ”引号，等特殊符号，jdbc驱动会字段转义，导致目的端显示带有转义符号。DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号 - [执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”](https://support.huaweicloud.com/cdm_faq/cdm_01_1169.md): 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。排查客户CDM昨天日志报错发现报错：2021-09-29 10:35:32,638 ERROR LocalJobRunner Map Task #13 #loader [org.apache.sqoop.co - [迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1170.md): Mysql-TO-DWS迁移过程中，报错“ GENERIC_JDBC_CONNECTOR_0904:ERROR occurs while retrieving data from result. Cause : closed connection:stream closed con:192.168.XX.XX.”。考虑用户数据量大，或连接 - [迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1171.md): MySql-TO-DLI迁移报错，java.lang.NumberFormatException：For input string："false"。根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。根据上一步字段映射分析，其中"sup - [迁移MySql到DWS，TINYINT类型迁移报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1172.md): 使用CDM从MySql迁移到DWS，运行作业报错“ERROR:value '-1'is out of range for 8 b-bit integer”。根据问题现象，目的端类型不支持值为“-1”插入，检查目的端字段映射，排查映射问题。根据上一步字段映射情况判断，进一步排查建表语句。根据以上截图分析，INT1就是DWS字段类型TINYI - [数据迁移前后数据量不一致是什么问题？](https://support.huaweicloud.com/cdm_faq/cdm_01_1173.md): 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。目的端配置为导入开始前“清空全部数据”，验证后，源/目的端条数一致。 - [创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错](https://support.huaweicloud.com/cdm_faq/cdm_01_1174.md): 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。再次核实账号密码无误，是用户使用Mysql账号没有给CDM集群授权，用户侧Mysql数据库需要对cdm集群的ip授权。 - [数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在](https://support.huaweicloud.com/cdm_faq/cdm_01_1175.md): 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。让客户在连接配置高级属性添加包围符配置，问题解决。 - [CSV数据类型插入MySQL报错invalid utf-8 charater string ''](https://support.huaweicloud.com/cdm_faq/cdm_01_1176.md): 迁移作业执行失败，提示invalid utf-8 charater string ''。考虑是数据格式问题，后端进一步分析日志确认。后台排查sqoop日志，考虑源端数据类型格式问题导致异常。分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 - [定时任务失败，检查连接器连接存在问题](https://support.huaweicloud.com/cdm_faq/cdm_01_1177.md): CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题：请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。从结果看考虑是CDM集群自身问题。通过EIP查询对应公网IP的绑定情况是未绑定的。建议先解除 - [脏数据导致CSV数据类型问题插入MySQL报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1178.md): 客户作业失败，提示invalid utf-8 charater string ''。根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题。在CDM作业中 - [写ES报timeout waiting for connection from pool错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1179.md): 写ES报timeout waiting for connection from pool，且日志中输出多个es_rejected_execution_exception。从cerebro界面看到索引只有一个分片。但新建一个索引设成3个分片也是一样会报es_rejected_execution_exception。继续定位发现记录几乎都写入 - [Oracle迁移到DWS报错ORA-01555](https://support.huaweicloud.com/cdm_faq/cdm_01_1180.md): Oracle迁移到DWS报错ORA-01555。整库迁移每个表中数据平均2~5亿条。源端10分钟会更新一次数据。CDM不支持实时迁移，但是支持定时迁移，用户10分钟就会有批量数据更新，考虑是迁移任务没有完成，源库已经更新，回滚超时。Oracle报错ORA-01555，数据迁移如果做整表查询，并且查询时间较长时，这个过程有其他用户进行频繁c - [FTP测试连通性失败，报服务器内部错误怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1181.md): ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录，安全组21、20端口正常放通，但是在创建FTP的数据连接报服务器内部错误。查询后台日志，报错为连接超时，截图如下，可能是安全组限制导致。安全组全部放通进行验证，连通性测试成功。针对FTP服务器的防火墙来说，必须允许以下通讯才能支持主动方式FTP：1. 任何大于1 - [CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1182.md): CDM连接RDS-Mysql ，除root用户外，其他用户都报错。登录服务器，运行命令进入数据库：mysql -u root –p，然后输入密码。执行：mysql>use mysql;授权：例如想root使用123456从任何主机连接到mysql服务器：mysql>GRANT ALL PRIVILEGES ON *.* TO 'root' - [MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1184.md): MRS Hive，MRS Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。用户名：admin密码：创建集群时的密码创建MRS数据源连接时，认证类型要与MRS集群是否开启KERBEROS保持一致。 - [CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1195.md): 在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式，但是没有生效。客户侧的null是null字符串，而非null空值，所以null字符串无法转化，null空值的查询条件是 is null。 - [当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1196.md): 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。call update_hoodie_properties(table=>'$tableName', property=>'hoodie.table.partition.fields', value=>'name')alter table $t - [当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1296.md): 当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”，可能是由于源端发生主备倒换，源端出现网络波动等原因导致，建议作业配置失败后重试。 - [RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常](https://support.huaweicloud.com/cdm_faq/cdm_01_1297.md): 使用开源Mysql驱动连接RDS-Mysql，date范围小于1000-01-0的情况下，date数据转换异常。RDS-Mysql和开源Mysql对于date类型的范围不一致。开源Mysql的date范围一般为1000-01-0到9999-12-21，而RDS-Mysql支持date范围小于1000-01-0。使用开源Mysql驱动连接R - [通过json方式导入的作业，sql server迁移到hive，执行作业报错](https://support.huaweicloud.com/cdm_faq/cdm_01_1300.md): 客户通过json的方式导入作业，从sql server迁移数据到hive，执行作业报：操作数数据类型bit 对min 运算无效。客户作业中配置的并发数大于1，CDM会选择分区列进行分区迁移，默认情况：取主键字段，如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是 - [Hudi源端的作业长时间处于BOOTING状态怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1142.md): 在Hudi源端读Hudi作业长时间处于BOOTING状态。除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。查看Yarn任务，搜索S - [Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1143.md): 读Hudi作业字段映射多了一列col，作业执行失败。使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array，名称为col的列。字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 - [Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1144.md): cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create table statement is not equal to the table schema”。从metastore中 - [Hudi目的端的作业失败，日志报错Read Timeout怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1145.md): 作业日志报错Read time out，日志如下：确认MRS集群的JdbcServer是多实例模式还是多租模式。如果是多实例模式，跳转3。否则跳转2。如果是多实例模式，跳转3。否则跳转2。多租户模式下，确认其他租户的作业是否正常。如果所有租户的作业执行spark sql都有问题，跳转3。否则，跳转4。如果所有租户的作业执行spark sq - [Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？](https://support.huaweicloud.com/cdm_faq/cdm_01_1146.md): CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark SQL过程中，需要等Spark SQL执行完作业才会结束。打开日志，搜索insert into，找到如下的日志，根据日志中打印 - [Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1147.md): 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。集群并发数到达上限联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：cluster running task，如果运行的并发数与available的并发数一致，则说明 - [Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1148.md): 报错：hoodie table path not found。报错：写入记录中存在空值，写入失败。报错：killed by external signal。报错：java.lang.IllegalArgumentException。表在metastore中存在，但不是Hudi表，或者表在metastore中存在，但是表目录不存在，根因是在 - [Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？](https://support.huaweicloud.com/cdm_faq/cdm_01_1149.md): 作业执行过程中，由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。日志中出现源端的read timeout报错，或者terminate by xxx之类的报错。如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失 - [Doris测试连接失败超时或者报vpc 或者安全组是否连通?](https://support.huaweicloud.com/cdm_faq/cdm_01_1305.md): CDM集群为24.x.x版本时，Doris测试连接失败超时或者报vpc 或者安全组是否连通。查看CDM 到Doris ip 和端口是否连通。排查命令：curl -kv {ip}：{port}查看是否连通，需要查看的端口号（mysql query端口9030， http端口：比如8030，https 端口8050）。如果不通，打通ip和端口 - [Doris测试连接报unrecogized ssl message时怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1306.md): CDM集群为24.x.x版本时，Doris测试连接报unrecogized ssl message。Doris端口配置错误。enable_https 是否为true。query_port(mysql 端口的) 是否为9030。http_port 一般为8030。https_port 一般为8050。如何enable_https =true - [Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1307.md): CDM集群为24.x.x版本时，Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull。首先要清楚zeroDateTimeBehavior参数的含义。zeroDateTimeBehavior参数是MySQL用来控制对零日期时间（空值或者0000-00-0 - [Doris连接报错 Invalid type or not supported type怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1308.md): CDM集群为24.x.x版本时，Doris连接报错 Invalid type or not suppprted type。1、查看CDM集群后台 framework.log没有报错，正常连接。2、尝试把管理中心的其他组件都去掉，只保留数据集成测试成功。3、Doris开启了https，cloudtable Doris 的streamLoa - [Doris写入数据时报错怎么办？](https://support.huaweicloud.com/cdm_faq/cdm_01_1309.md): CDM集群为24.x.x版本时，Doris写入数据时报错 java.sql.BatchUpdateException: AnalysisException， msg: Invalid decimal literal。CDM集群为24.x.x版本时，Doris写入数据时报错 java.sql.SQLException: Parameter