从MySQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

producer_partition_by 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error

查看更多 →

Avro格式的schema定义详情请参见record.rar。在实时同步到Kafka集群后，您需要根据schema定义进行数据解析。 JSON格式 MySQL、 GaussDB (MySQL)到Kafka的JSON格式定义详情参考表2，DDS到Kafka的JSON格式定义详情参考表3，Oracle、

查看更多 →

数据类型映射关系 由于异构数据库之间的数据类型不是一一对应的，所以数据复制服务在进行迁移或同步时，会根据两种不同的数据库类型进行对应的数据类型映射。 本章节根据不同的数据库引擎，提供对应的数据库映射关系列表，方便您在进行数据库迁移或同步的时候参考。 MySQL->PostgreSQL

查看更多 →

部署同步程序 部署同步程序 执行下面命令把数据同步服务程序上传web服务器上，解压安装包 unzip meicloud-times-service-0.0.1-SNAPSHOT.zip 查看及修改配置 vim config.properties #MySQL配置 spring.datasource

查看更多 →

库）。 灾备为单主灾备关系，不支持多写的多主模式，请严格确保备节点的数据只来自主节点的同步，任何其他地方的写入将会导致备库数据被污染，使得灾备出现数据冲突而无法修复。 如果外部数据库为备且为只读，该只读只有superuser权限的账号可以写入数据，其他账号无法写入，但仍然需要确保

查看更多 →

致的任务失败。 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 目标库已启用的触发器不可以与同步表关联。

查看更多 →

key）的同步保持不变。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多

查看更多 →

源库varchar类型的长度大于等于667时，该类型到Oracle中将会被转成clob类型。 源库不支持列类型为binary且长度为0的字段（即binary(0)），这是由于GaussDB(for MySQL)的binary类型经过DRS同步到Oracle时会映射为raw类型，而在Ora

查看更多 →

。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。 数据源实例 选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。

查看更多 →

地址。 云数据库RDS的系统库mysql和sys不支持导入到RDS for MySQL实例。 导出数据 要将源数据库迁移到云数据库RDS，需要先对其进行导出。 相应导出工具需要与数据库引擎版本匹配。 数据库迁移为离线迁移，您需要停止使用源数据库的应用程序。 登录源数据库。 使用m

查看更多 →

清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以

查看更多 →

多租数据库 以下视图为多租数据库特性视图，分布式暂不支持使用。 GS_RESPLAN_PDB_INFO GS_RESPLAN_PDB_METRIC GS_RESPLAN_PDB_METRIC_HISTORY MTD_USER GS_DATABASE_DETAILS 父主题： 系统视图

查看更多 →

多租数据库 GS_RESPLAN_PDB_INFO GS_RESPLAN_PDB_METRIC GS_RESPLAN_PDB_METRIC_HISTORY MTD_USER GS_DATABASE_DETAILS 父主题： 系统视图

查看更多 →

停功能： MySQL->MySQL MySQL->GaussDB(for MySQL) MySQL->GaussDB(DWS) MySQL-> CSS /ES MySQL->Kafka GaussDB(for MySQL)->MySQL GaussDB(for MySQL)->GaussDB(for

查看更多 →

于子任务在运行过程中会从源数据库同步这些表的数据到目标库，可能导致目标库数据与源库数据不一致。 再编辑期间，主任务不支持进行暂停、重置、重启、规格变更、重置位点操作；不支持重置源或者目标数据库密码；不支持修改数据库连接信息（IP、密码）；否则可能导致数据不一致或者任务失败；再编辑子任务支持暂停、续传、结束操作

查看更多 →

当基本信息中的“类型”为“MySql”时，用户名为MySql JDBC连接账号名称。 密码 必填项。 资源连接密码。 当基本信息中的“类型”为“MySql”时，密码为MySql JDBC连接账号密码。 数据库名 当基本信息中的“类型”为“MySql”、HIVE时，才有此参数。 必选项。 数据库的名称。

查看更多 →

清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以

查看更多 →

多租数据库 GS_PDB GS_RESOURCE_PLANS GS_RESOURCE_PLAN_DIRECTIVES 父主题： 系统表

查看更多 →

多租数据库 以下系统表为多租数据库特性系统表，当前版本暂不支持使用。 GS_PDB GS_RESOURCE_PLANS GS_RESOURCE_PLAN_DIRECTIVES 父主题： 系统表

查看更多 →

多租数据库 enable_mtd 参数说明：用于控制是否开启内核多租功能。 参数类型：布尔型。 参数单位：无 取值范围： on：打开内核多租功能。 off：关闭内核多租功能。 默认值：off 设置方式：该参数属于POSTMASTER类型参数，请参考表1中对应设置方法进行设置。 设

查看更多 →