Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： // 通过prim

查看更多 →

non-strict模式，对主键表采用insert处理。 upsert模式，对于主键表的重复值进行更新操作。 在执行spark-sql时，用户可以设置“hoodie.sql.bulk.insert.enable = true”和“hoodie.sql.insert.mode = non-strict”来开启bulk

查看更多 →

DDM使用类 DDM如何进行分片 如何解决JDBC驱动方式连接DDM异常问题 使用mysqldump从MySQL导出数据非常缓慢的原因 导入数据到DDM过程中出现主键重复 如何处理数据迁移过程中自增列报错：主键重复 如何处理配置参数未超时却报错 如何处理DDM逻辑库与RDS实例的先后关系

查看更多 →

d会导致主键重复。 参数名称 参数描述 输入值 说明 primaryKey hudi主键 按需 必须指定，可以是复合主键但是必须全局唯一。 preCombineField 预合并键，相同主键的多条数据按该字段进行合并 按需 必须指定，相同主键的数据会按该字段合并，不能指定多个字段。

查看更多 →

建表时，支持定义主键和指标列，查询时返回主键相同的一组数据中的最新数据。相对于明细模型，更新模型简化了数据导入流程，能够更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时，先按照排序键排序后再存储。查询时返回主键相同的一组数据中

查看更多 →

齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 主键：配置是否为主键列。普通HBase表主键只能指定一个；phoenix表主键可以指定多个，配置多个列为主键时，会按照配置列的先后顺序对其进行拼接。必需配置一个主键列。 map 是 无 数据处理规则 当配置HBase表名不存在时，作业提交失败。

查看更多 →

通过json方式导入的作业，sql server迁移到hive，执行作业报错 问题描述 客户通过json的方式导入作业，从sql server迁移数据到hive，执行作业报：操作数数据类型bit 对min 运算无效。 图1 报错信息 故障分析 客户作业中配置的并发数大于1， CDM

查看更多 →

MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例，不同规格对数据库的连接数存在差异，仅供参考。 DRS对源数据库的压力及影响 全量（初始化）阶段，DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句，对源库

查看更多 →

个数。 使用主键，在插入数据时，尽量选择主键顺序插入，选择使用AUTO_INCREMENT自增主键。 因为当主键乱序插入时，会产生“页分裂”，消耗性能。 示例如下： 主键乱序插入 : 6 2 9 7 2 主键顺序插入 : 1 2 4 6 8 尽量不要使用UUID做主键或者是其他自然主键，如身份证号。

查看更多 →

DRS主键或者唯一键不一致导致数据不一致需要怎样处理 场景描述 MySQL到MySQL实时同步，目标数据库已经存在表结构，增量阶段发现数据不一致，同时目标数据库结构与源数据库不同。 可能原因 目标数据库的唯一索引或者主键与源数据库不一致，尤其是目标数据库唯一索引（主键）比源数据库

查看更多 →

or MySQL) 中数据不一致，应避免使用。 这些不支持同步的操作不会影响在HTAP实例上查询和分析数据。 表4 导致数据不一致的DDL操作说明 DDL名称 SQL样例 删除主键 ALTER TABLE tbl_name DROP PRIMARY KEY; 增加主键 ALTER

查看更多 →

230900及以上版本支持使用该功能。 并行创建索引功能，目前支持的索引为Btree二级索引。 不支持主键索引、spatial index和fulltext index。如果一个并行创建索引的SQL语句包含主键索引，或者spatial index和fulltext index，客户端将会收到一个

查看更多 →

MySQL主备复制延迟场景及解决方案 RDS for MySQL的默认备库、只读实例、自建从库、DRS链路灾备实例均基于MySQL的Binlog复制技术，也称为MySQL主备复制或主从复制技术。主备复制实现又分为异步复制或半同步复制，无论哪种方式，由于业务执行的语句的原因，不可避免的存在主备复制延迟。

查看更多 →

already exists。 可能原因 目标库已经存在此无主键表。 解决方案 联系客户运维工程师将目标库表中的无主键表删除。 修改完成后，在任务列表中，单击任务对应操作列的“续传”，重新提交任务。 父主题： MySQL->MySQL实时迁移和同步

查看更多 →

型、允许为空、是否主键、是否可查询、是否唯一、提示和操作信息。单击添加列可新增一列，最多支持100列。单击操作列的图标可以删除列。 列名 列的名称不可以和PostgreSQL 11版本的关键字冲突。 是否主键 主键用于唯一地标识数据表中的信息，可通过设置复合主键将数据表中的多个数据设置为唯一，主键至多设置10个。

查看更多 →

作业名称：输入便于记忆、区分的作业名称，例如：“mysql2dws”。 源端作业配置 源连接名称：选择步骤2：创建连接章节中创建的MySQL连接“mysqllink”。 使用SQL语句：选择“否”。 模式或表空间：选择从MySQL的哪个数据库导出表。 表名：选择导出哪张表。 其他可

查看更多 →

齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 主键：配置是否为主键列。普通HBase表主键只能指定一个；phoenix表主键可以指定多个，配置多个列为主键时，会按照配置列的先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 当配置HBase表名不存在时，作业提交失败。

查看更多 →

copy_merge：当存在主键时使用copy方式入临时表，从临时表merge至目标表；无主键时直接copy至目标表。 copy_upsert：当存在主键时使用copy方式入临时表，从临时表upsert至目标表；无主键时直接copy至目标表。 upsert: 有主键用upsert sql入库；无主键用insert

查看更多 →

Oracle->PostgreSQL Oracle->PostgreSQL社区版数据映射关系 表1 数据类型映射关系 数据类型（Oracle） 数据类型（PostgreSQL社区版） 是否支持映射 CHAR CHAR 支持 VARCHAR VARCHAR 支持 VARCHAR2 VARCHAR

查看更多 →

DRS支持的数据类型如下所示： 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键，同步能力 源库数据类型做非主键，同步能力 源库数据类型做主键，对比能力 源库数据类型做非主键，对比能力 备注 CHAR character 支持 支持 支持，忽略字符前后的空格 支持，忽略字符前后的空格

查看更多 →

DRS支持的数据类型如下所示： 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键，同步能力 源库数据类型做非主键，同步能力 源库数据类型做主键，对比能力 源库数据类型做非主键，对比能力 备注 CHAR character 支持 支持 支持，忽略字符前后的空格 支持，忽略字符前后的空格

查看更多 →