中软国际数据治理专业服务解决方案实践

数据集成 数据集成概述、工具介绍及入湖范围 数据集成前探查 全量数据同步 增量数据同步 父主题： 实施步骤

查看更多 →

创建StarRocks数据同步 功能介绍 创建StarRocks数据同步。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication 表1 路径参数

查看更多 →

删除StarRocks数据同步 功能介绍 删除StarRocks数据同步。 调用方法 请参见如何调用API。 URI DELETE /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication 表1

查看更多 →

会出现更新标识，您可查看更新详情后确认同步，更新同步后相关信息也会随之更新。更新规则详见表2。 数据实体、关系实体同步变更信息的具体操作请参考同步xDM-F数据实体变更信息和同步xDM-F关系实体变更信息。 表2 xDM-F模型变更信息同步规则说明 更新类型 规则说明 基本信息

查看更多 →

数据同步拓扑介绍 DRS实时同步功能目前支持多种拓扑类型，用户可根据自己的需求进行规划，详细说明可参考以下内容。 为保证同步数据的一致性，请勿对目标数据库中的同步对象进行修改操作。 一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个

查看更多 →

同步前构造数据 同步前需要在源库构造一些数据类型，供同步完成后验证数据。 DRS支持的数据类型如下所示： 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键，同步能力 源库数据类型做非主键，同步能力 源库数据类型做主键，对比能力 源库数据类型做非主键，对比能力

查看更多 →

全量数据同步 针对数据增长缓慢、非核心业务相关、无时间戳、无增删改标识、数据量低于十万条的明细表数据，以及码表、维度表等数据，采用全量同步的方式接入数管平台，并存放在贴源层的全量表内。数据初始化全量同步是指第一次从业务源库中采用全量同步的方式获取一次数据。 确定数据源 通过调研获

查看更多 →

目的端 服务器 。 开始服务器复制并启动目的端。 （可选）启动目的端后，如果您的源端服务器有增量数据，您可以使用同步功能，同步源端增量数据。单击操作列的“同步”，单击“是”，开始进行增量数据同步。 父主题： 使用IPv6进行 主机迁移

查看更多 →

迁移完成后，目的端主机已启动并有新数据写入，再次进行源端增量数据同步，目的端新增数据会不会被源端数据覆盖？ 迁移完成后，目的端主机已启动并有新数据写入，再次执行同步操作。 迁移方式为Windows块级迁移和Linux块级迁移时，目的端新增的数据会被源端数据覆盖，请谨慎操作。 迁移方式为

查看更多 →

机生成。 单击“确认”，完成配置。 当列表中的增量托管配置状态为“开启”时，表示配置生效。 其它操作 增量托管配置添加后，您可以对在托管列表中对相关配置做如下操作： 编辑：修改已添加的增量托管配置。 开启：开启处于“关闭”状态中的增量托管配置。开启后，若托管配置中的OBS桶有新增

查看更多 →

增量评估 当源库为Oracle和MySQL时，支持该功能。 当源库为MySQL时，暂不支持对USER、GRANT、ROLE进行增量采集。 前提条件 具有对应项目的操作权限。 有已创建但未进行目标数据库确认的评估项目。 项目源库存在新增内容，如新增table，function等信息。删除或修改已有内容，无法识别。

查看更多 →

时候文件被修改，只需同步对应修改块即可，而不需要对该文件包含的所有块进行同步。而文件迁移是采用工具或者TAR命令以及SSH或其他通道进行远程复制，所以只要文件压缩时候有变动或者迁移时网络中断，都会导致迁移失败。且在增量数据同步的时候，只要文件有变动，则需要同步该文件，那么该文件对

查看更多 →

增量同步失败报错，关键词“Table *** not found in target database” 场景描述 增量同步期间DRS任务报错，同步日志界面提示：service INCREMENT failed, cause by: Check table structure consistency

查看更多 →

仅支持VPC网络，因未开放全网段路由，所以VPC内容器形态网络暂不支持。 数据格式 Avro、JSON和JSON-C SDK 数据类型 全量+增量数据。 仅增量数据。 同步对象 表数据、表结构。 数据更新和结构更新。 稳定性 有任务告警、监控，任务异常自动重试。 无任务告警、监控，任务异常手动重试

查看更多 →

关系数据库增量迁移 CDM 支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。

查看更多 →

图3 添加订阅 购买数据模型数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买 DataArts Studio 增量包页面，按照如下配置： 增量包类型：选择数据模型数量增量包。 计费方式：当前仅支持套餐包。 增量包规格：请根据您的业务情况选择合适的增量包规格。 购买时长：表示此套餐包的有效时长。

查看更多 →

验后，执行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

增量同步失败报错，关键词“in a read-only transaction” 场景描述 增量同步期间DRS任务报错，同步日志界面提示：service INCREMENT failed, cause by: insert %s failed:tid: %s, sqno: %s,

查看更多 →

增量同步失败报错，关键词“*** doesn't in the target table” 场景描述 增量同步期间DRS任务报错，同步日志界面提示：service INCREMENT failed, cause by: insert %s failed: %s doesn't in

查看更多 →

database 可能原因 同步任务时没有选择同步DDL，源库的建表DDL未能同步至目标库。 同步任务选择了同步DDL，但源库使用了DRS不支持同步的DDL语句创建了表。 目标数据库删除了表。 解决方案 方法一：重新创建任务，并在使用时遵循以下DRS使用规则： 若选择同步DDL，请勿在源库执行DRS不支持的DDL。

查看更多 →

应用数据同步ISV异常 问题描述 应用数据同步ISV异常。 处理办法 管理员登录管理中心。 进入“应用管理”。 在应用列表中找到对应的应用，单击“操作”列“配置”进入应用配置页面。 检查“同步集成”页签下查询同步记录。 图1 同步记录 根据错误进行处理，常见情况如下： 目标地址不

查看更多 →