Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。 Flink 支持将 Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE

查看更多 →

00M。 FTP数据源类型 FTP数据源解析模式下支持的最大文件大小为200M，超过200M的文件将自动跳过，不进行采集；解析的数据行数最大为1500000；不解析模式下，支持的最大文件大小为6M，最大文件数量为20000。 说明： FTP数据源之间多个文件同步统计，代表的是本次同步的文件的数量。

查看更多 →

场景下，update事件只包含变更字段，此时Hudi数据中会出现部分字段的值为__debezium_unavailable_value的情况。 相关命令如下，其中： 查询PostgreSQL表复制标识的命令为： SELECT CASE relreplident WHEN 'd' THEN

查看更多 →

关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据，可以使用异步模式创建表。 以下是一个示例的建表语句，展示了如何使用 JSON 格式选项来指定 OBS 中的路径： create table tb1 using json options(path

查看更多 →

，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。设置为0，可能会导致同步失败。 源数据库为自建MySQL时，通过设置expire_logs_days参数设置binlog保留时间。建议将expire_logs

查看更多 →

nlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。设置为0，可能会导致同步失败。 RDS for MySQL设置binlog保留时间可参考《RDS用户指南》。 源数据库GTID状态必须为开启状态，源数据库实例没有开启

查看更多 →

运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下： 迁移的目的端为文件时， CDM 不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业

查看更多 →

(`id`)); 源数据库要求 源数据库必须为 GaussDB (for MySQL)主备实例的主节点。 增量同步时，源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。 源数据库expir

查看更多 →

运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业

查看更多 →

Connector支持消费drs-json格式数据 本章节适用于 MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式（一种CDC消息格式）的数据。 使用方法 在创建的Kafka Connector Source流表中，设置 'format' = 'drs-json'。

查看更多 →

缀，反之亦然。例如新规则的前缀为 "pre1:"，键分隔符为 "," ，老规则前缀为 "pre1"，分隔符为":"， 这种情况不允许创建新规则。 如果修改映射规则中MySQL实例的表名后，则需要重新配置映射规则。 暂不支持ENUM、SET、JSON三种数据类型的同步。 如果对映射

查看更多 →

Server：这一条记录的commit时间，13位Unix时间戳，单位为毫秒。 ts 写入到目标kafka的时间，13位Unix时间戳，单位为毫秒。 database 数据库名称，dbType为Oracle时暂时为空。 table 表名。 type 操作类型，比如DELETE，UPDATE，INSERT，DDL。

查看更多 →

MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问 域名 、端口，以及AK、SK。

查看更多 →

MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。

查看更多 →

元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a

查看更多 →

缀，反之亦然。例如新规则的前缀为 "pre1:"，键分隔符为 "," ，老规则前缀为 "pre1"，分隔符为":"， 这种情况不允许创建新规则。 如果修改映射规则中MySQL实例的表名后，则需要重新配置映射规则。 暂不支持ENUM、SET、JSON三种数据类型的同步。 如果对映射

查看更多 →

MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。

查看更多 →

JSON构造器 JSON构造器为用户提供构造JSON对象的能力，用户通过界面化操作可以构造出复杂的JSON结构，也可以通过“源码模式”，将复杂的JSON格式数据转换到界面显示，包含“构造JSON对象”执行动作。 连接参数 变量连接器无需认证，无连接参数。 切换为源码模式： 构造完

查看更多 →

JSON构造器 JSON构造器为用户提供构造JSON对象的能力，用户通过界面化操作可以构造出复杂的JSON结构，也可以通过“切换为源码模式”，将复杂的JSON格式数据转换到界面显示，包含“构造JSON对象”执行动作。 构造JSON对象 输入参数 用户配置构造JSON对象源码模式执行动作，相关参数说明如表1所示。

查看更多 →

json_object(text[])、json_object(text[], text[]) 描述：从文本数组中构建JSON对象。 这是个重载函数，当入参为一个文本数组的时候，其数组长度必须为偶数，成员被当做交替出现的键/值对。两个文本数组的时候，第一个数组被视为键，第二个被视为值，两个数组长度必须相等。键不可为null。

查看更多 →

json_object(text[])、json_object(text[], text[]) 描述：从文本数组中构建JSON对象。 这是个重载函数，当入参为一个文本数组的时候，其数组长度必须为偶数，成员被当做交替出现的键/值对。两个文本数组的时候，第一个数组被视为键，第二个被视为值，两个数组长度必须相等。键不可为null。

查看更多 →