校验源数据库参数max_wal_senders PostgreSQL同步场景 表1 校验源数据库参数max_wal_senders 预检查项 校验源数据库参数max_wal_senders。 描述 源数据库“max_wal_senders”参数值必须大于当前已使用的复制槽数量。否则，可能会导致同步失败。

查看更多 →

fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串（query string）对源数据进行过滤， CDM 只迁移满足过滤条件的数据。 父主题： 源端作业参数说明

查看更多 →

hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名，例如“cdm”。

查看更多 →

源数据库角色依赖检查 MongoDB迁移场景 表1 源数据库角色依赖检查 预检查项 源数据库角色依赖检查。 描述 在进行用户迁移时，若所选迁移的用户与某些角色存在依赖关系，需要同时选择迁移该用户及所依赖的角色，否则会导致迁移失败。 不通过提示及处理建议 不通过原因：源数据库角色依

查看更多 →

源数据库恢复模式检查 Microsoft SQL Server为源同步场景 表1 源数据库恢复模式检查 预检查项 源数据库恢复模式检查。 描述 检查源数据库是否存在备份恢复模式不是FULL的数据库。 不通过提示及处理建议 不通过原因：源数据库存在备份恢复模式不是FULL的数据库。

查看更多 →

体权限，可参见权限管理进行设置。 各源库分别需要具备以下权限，需成功测试连接到源数据库并通过所有预检查项。 Oracle源数据库连接用户需要具有待迁移数据库的DBMS_METADATA、动态视图和Schema对象数量检查的权限。 MySQL为源库时需要具有MySQL系统库的查询权

查看更多 →

hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名，例如“cdm”。

查看更多 →

自定义信息抽取模型 信息抽取模型简介 准备训练数据 创建模型 管理版本

查看更多 →

源数据库存在加密的数据库对象 Microsoft SQL Server为源场景 表1 源数据库存在加密的数据库对象 预检查项 源数据库存在加密的数据库对象。 描述 检查源数据库存在加密的数据库对象。 不通过提示及处理建议 不通过原因：源数据库存在加密的数据库对象。 处理建议：返回

查看更多 →

fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串（query string）对源数据进行过滤，CDM只迁移满足过滤条件的数据。 父主题： 源端作业参数说明

查看更多 →

使用GDS从远端 服务器 导入数据 从 MRS 导入数据到集群 从 GaussDB (DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据

查看更多 →

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、 数据仓库 、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的

查看更多 →

CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。

查看更多 →

本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步，实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。

查看更多 →

数据读写逻辑。 DLI 提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别 类别 操作指导 源表 DWS源表（不推荐使用） 结果表 DWS结果表（不推荐使用） 维表 DWS维表（不推荐使用） 父主题： DWS

查看更多 →

本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步，实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。

查看更多 →

DBC数据库连接失败，读取数据超时，进而导致sqoop异常，作业失败。 迁移作业是CDM作为客户端先从源数据中抽取部分数据，写到目标端，在进行下一次部分数据抽取，写入目标端，往复执行，直到抽取到写入完成。因此可以添加高级属性：socketTimeout 参数，保证在每次抽取写入数据间隔，CDM一直保持正常会话。

查看更多 →

如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图2所示。 图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库

查看更多 →

CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某

查看更多 →

源数据库ExpireLogsDays参数检查 MySQL同步、灾备场景 表1 源数据库ExpireLogsDays参数检查 预检查项 源数据库ExpireLogsDays参数检查。 描述 源数据库expire_logs_days参数值为0，可能会导致迁移失败。 不通过提示及处理建议

查看更多 →

源数据库是否存在MyISAM表 MySQL迁移场景 表1 源数据库是否存在MyISAM表 预检查项 源数据库是否存在MyISAM表。 描述 源数据库中不能存在MyISAM引擎的表，若存在，可能会导致迁移失败。 待确认提示及处理建议 待确认原因：源数据库中包含MyISAM引擎的表，

查看更多 →