Postgres CDC源表 功能描述 Postgres的CDC源表，即Postgres的流式源表，用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。 前提条件 PostgreSQL

查看更多 →

Postgres CDC源表 功能描述 Postgres的CDC源表，即Postgres的流式源表，用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。 前提条件 PostgreSQL

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →

变更数据捕获（CDC） 操作场景 使用存储过程对指定数据库开启或关闭变更数据捕获功能。变更数据捕获可记录应用到所启用的表中的插入、更新和删除活动，同时采用易于使用的关系格式提供变更详细信息。 仅RDS for SQL Server企业版和RDS for SQL Server 20

查看更多 →

配置SQL Server CDC 概述 CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 不

查看更多 →

配置Oracle CDC（XStream） 概述 CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和

查看更多 →

和LogMiner两种CDC模式，本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外，根据Oracle数据库类型为CDB数据库还是非CDB数据库，CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表，不支持视图。 前提条件 若Oracle数据

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨

查看更多 →

源库表是否开启了CDC Microsoft SQL Server为源同步场景 表1 源库表是否开启了CDC 预检查项 源库表是否开启了CDC 描述 源库表是否开启了CDC。 不通过提示及处理建议 不通过原因：源数据库待同步的表未开启CDC功能。 处理建议：请参考SQLServer

查看更多 →

配置MySQL CDC（Binlog） 概述 CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件

查看更多 →

源库CDC数据保留时间是否足够 Microsoft SQL Server为源同步场景 表1 源库CDC数据保留时间是否足够 预检查项 源库CDC数据保留时间是否足够 描述 检查源库CDC数据保留时间是否足够长。 不通过提示及处理建议 不通过原因：源库CDC数据保留时间太短，不足1天，会导致增量同步异常。

查看更多 →

源数据库是否存在名称为cdc的schema或用户 Microsoft SQL Server为源场景 表1 源数据库是否存在名称为cdc的schema或用户 预检查项 源数据库是否存在名称为cdc的schema或用户。 描述 全量+增量模式下，源数据库中不能存在名称为cdc的schema或用户。

查看更多 →

从MySQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

建一张心跳表，心跳表归属cdc_cdl Schema，表名为cdc_heartbeat，主键为cdl_job_id： DROP TABLE IF EXISTS cdc_cdl.cdc_heartbeat; CREATE TABLE cdc_cdl.cdc_heartbeat ( cdl_job_id

查看更多 →

创建数据集成任务（组合任务） 配置Oracle CDC（LogMiner） 配置Oracle CDC（XStream） 配置MySQL CDC（Binlog） 配置SQL Server CDC 创建组合任务 父主题： 数据集成指导

查看更多 →

如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常？ 因Oracle数据库意外重启等原因导致CDC功能异常时，可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库，然后执行以下命令： SELECT CAPTURE_NAME

查看更多 →

从PostgreSQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

已开启SQLServer库、表的CDC（change data capture，就是增量实时同步）能力，详情请参见如下示例。 开启CDC能力时数据库账号至少需要有sysadmin权限。 启用数据库CDC。 USE YourDatabaseName; EXEC sys.sp_cdc_enable_db;

查看更多 →

CS V格式：以CSV格式解析源数据。 JSON：以JSON格式解析源数据。 CDC（DRS）：以DRS格式解析源数据。 CDC（JSON）：以JSON格式解析源数据。 CDC（DRS_AVRO）：以DRS_AVRO格式解析源数据。 CDC（DRS_JSON）：以DRS_JSON格式解析源数据。 二进制格式

查看更多 →

创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 父主题： 数据定义语句DDL

查看更多 →

是”。 CDC模式 仅当“是否开启实时”选择“是”时需要配置。 选择数据库的CDC模式。 XStream：表示使用Oracle数据库XStream模式的CDC功能。 LogMiner：表示使用Oracle数据库LogMiner模式的CDC功能。 出站 服务器 仅当“CDC模式”选择“XStream”时需要配置。

查看更多 →