CDM 迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某

查看更多 →

基本概念 源数据库 指需要迁移的数据库，可简称为源库。 目标数据库 指接收迁移数据的华为云 GaussDB /RDS数据库，可简称为目标库。 兼容性分析 基于源库的全量语法树，分析源库和目标库的语法差异点，形成语法差异知识库，以此来评估源库对象迁移到目标库的语法兼容度和迁移成功率。 数据库评估

查看更多 →

采集对源数据库的影响 当有UGO评估任务连接源库进行对象采集时，源库Oracle执行select或alter等语句，执行时间会增加约0.1s。 对源库Oracle性能的影响，如表所示。 表1 对源库性能的影响 源库类型 源库配置 CPU使用率 内存使用率 I/O使用率 应用查询影响

查看更多 →

的增量数据迁移至目标端数据库，需用户判断并手动结束任务，可参考如何判断数据迁移任务可以停止。 用户在创建任务时，可根据情况选择不同模式，DRS不需要源数据库停止业务，但需注意全量和增量不同阶段对数据库产生的影响，可参考MySQL数据同步对源数据库和目标数据库有什么影响。 父主题：

查看更多 →

源数据库连接是否成功 DRS在预检查阶段，会对提供的源数据库IP、端口、用户名、密码的连通性及准确性进行检查。 不通过原因 用户名或密码错误。 端口无法访问。 数据库账号不允许远程连接。 连接失败。 处理建议 检查DRS测试连接时输入的用户名和密码是否正确，填入正确的数据库用户名和密码后重新执行预检查。

查看更多 →

源数据库是否存在MyISAM表 MySQL迁移场景 表1 源数据库是否存在MyISAM表 预检查项 源数据库是否存在MyISAM表。 描述 源数据库中不能存在MyISAM引擎的表，若存在，可能会导致迁移失败。 待确认提示及处理建议 待确认原因：源数据库中包含MyISAM引擎的表，

查看更多 →

源数据库ExpireLogsDays参数检查 MySQL的同步和灾备场景，数据库expire_logs_days参数值为0，可能会导致任务失败。 不通过原因 源库参数expire_logs_days为0时，startup和flush logs等操作会触发binlog清理，从而导致任务失败。

查看更多 →

CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图2所示。

查看更多 →

抽取信息时所使用的引用字段的信息抽取函数，具体请见信息抽取函数。 确认所填写的信息后，单击“保存”，完成信息抽取。 如果创建多个数据源，请完成所有数据源的信息抽取配置。配置数据源请参见配置数据源。 示例 以创建一个有关于电影的 知识图谱 为例，抽取信息前后的实体信息如图2所示，展示如何在创建图谱时配置信息抽取。

查看更多 →

SDI (Source Data Integration)，又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration)，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 DWR

查看更多 →

分区字段是否允许空值 是否允许分区字段包含空值。 是 按表分区抽取 支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的表分区。 该功能不支持非分区表。 仅支持源端数据源为PostgreSQL时配置该参数。 数据库用户需要具有系统视图dba_tab_parti

查看更多 →

E条件进行数据过滤及在字段映射页面添加新字段。 说明： 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ

查看更多 →

源数据库是否处于备机状态 PostgreSQL为源的全量+增量实时同步任务，源库不可以为备机，否则，无法进行增量同步。全量实时同步任务，源库可以为备机，但是参数“hot_standby_feedback”必须为on，否则可能导致同步失败。 不通过原因 全量+增量实时同步任务，源库为备机，无法进行增量同步。

查看更多 →

源数据库分片键配置检查 MongoDB迁移场景 表1 源数据库分片键配置检查 预检查项 源数据库分片键配置检查。 描述 检查用户提供的目标数据库账号权限是否符合迁移要求，若权限不够，会导致迁移失败。 不通过提示及处理建议 待确认原因：源数据库是副本集，没有分片键配置。 处理建议：

查看更多 →

目标表设计：即数据集市结果表设计，根据数据应用的需求进行数据表设计 数据源分析：主要分析 数据仓库 的数据如何满足集市的需要，即确定需要数据仓库的那些表数据，如果数据仓库没有，则需要数据仓库进行数据补充 数据仓库表与目标表字段进行映射，确定加工规则 验证数据并调整加工规则 实施步骤 根据设计好的目标表，创建DM层物理表

查看更多 →

DBC数据库连接失败，读取数据超时，进而导致sqoop异常，作业失败。 迁移作业是CDM作为客户端先从源数据中抽取部分数据，写到目标端，再进行下一次部分数据抽取，写入目标端，往复执行，直到抽取到写入完成。因此可以添加高级属性：socketTimeout 参数，保证在每次抽取写入数据间隔，CDM一直保持正常会话。

查看更多 →

Transaction Processing）。 OLAP为使用多维结构为分析提供对数据的快速访问的技术，OLAP 的源数据通常存储在关系数据库的数据仓库中。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLTP也称为面向交易的处理系统

查看更多 →

本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步，实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。 传统数据库需要自购并安装 服务器 、系统、数据库等软件，运维成本高、难度大。

查看更多 →

在“代码编辑”页签编辑json代码配置信息抽取时，可单击“交互界面”，切换至“交互界面”页签，查看信息抽取前后的相关字段。 单击“保存”，完成信息抽取。 如果创建多个数据源，请完成所有数据源的信息抽取配置。配置数据源请参见配置数据源。 示例 以一个电影实体为例，抽取信息前后的实体信息如图2所示，代码示例如下所示：

查看更多 →

CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图2所示。

查看更多 →

E条件进行数据过滤及在字段映射页面添加新字段。 说明： 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ

查看更多 →