即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。

查看更多 →

择对应的数据进行同步。 在同步对象右侧已选对象框中，可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射，具体操作可参考对象名修改（对象名映射）。 说明： 选择对象的时候支持对展开的库进行搜索，以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化

查看更多 →

例，则无法创建同步任务。 数据类型不兼容时，可能引起同步失败。 对于表中的物理生成列，如果列是根据一个时间类型生成的，会存在此列数据不一致的可能性。 由于数据库引擎支持不同，MySQL中的非空约束支持空字符串，Oracle中的非空约束不支持空字符串。数据同步过程中，如果非空约束的

查看更多 →

即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。

查看更多 →

同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数，默认为

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

任务创建后，目标库不能设置为只读。 表级同步中，对于多对一场景下的表在数据加工页面设置了附加列为来源列，如果目标库中已经存在多对一映射之后的表，请在目标库中删除这张表或者清除这张表的数据，否则将不会通过附加列来创建联合主键（这在同步过程中会导致数据冲突并忽略，从而到导致数据不一致）。 源库MySQL版本为8.

查看更多 →

已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。

查看更多 →

已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。

查看更多 →

在同步过程中修改上述信息。 实时同步过程中，如果修改了源库端口，会导致同步任务失败。针对该情况，系统自动更新为正确的端口，重试任务后即可进行同步。一般情况下不建议在同步过程中修改端口。 实时同步过程中，对于因修改IP地址导致同步任务失败的情况，系统自动更新为正确的IP地址，需要重

查看更多 →

即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。

查看更多 →

创建ERP数据同步到OA业务流 进入我的流页面，创建一条新流 流名称为"基础数据从ERP同步到OA"，初始节点选择计划-重复执行，重复周期为通过全局配置传入 点击流里面的输入框，可以管理全局配置 首先从ERP查询数据，因此第一个节点选择B1连接器的查询单据列表执行动作 执行动作中的参数用全局配置来管理

查看更多 →

在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。 父主题： 创建CDL作业

查看更多 →

使用CDL从Hudi同步数据到ClickHouse 操作场景 本章节指导用户通过 MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到ClickHouse。 前提条件 集群已安装CDL、Hudi和ClickHouse服务且运行正常。

查看更多 →

使用CDL同步openGauss数据到Hudi（ThirdKafka） 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从ThirdKafka导入openGauss数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。

查看更多 →

timestamp格式，incre为1。 同步Topic策略 同步Topic策略，可选择“集中投递到一个Topic”。 Topic 选择目标端需要同步到的Topic。 同步到kafka partition策略 同步到kafka partition策略。 全部投递到Partition 0：适用于

查看更多 →

不勾选Delete则不会同步源库增量数据中的Delete语句，可能会导致数据不一致，因此存在数据冲突或任务失败的风险。 同步Topic策略 同步Topic策略，可选择“集中投递到一个Topic”或者“自动生成Topic名字”。 Topic 选择目标端需要同步到的Topic，同步Topic策略

查看更多 →

，以及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时，源库如果存在写入，则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。

查看更多 →

即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。

查看更多 →

DMS Kafka同步到OBS 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →