GaussDB集中式/分布式同步到DMS Kafka作业配置

GaussDB集中式/分布式数据库（内核引擎版本505.1.0、505.1.0.SPC0100、505.2.0）

Kafka集群（2.7、3.x版本）

源数据库连接账号

1. 需要REPLICATION权限或继承了内置角色gs_role_replication的权限、DATABASE的CONNECT权限、SCHEMA的USAGE权限、表的SELECT权限、序列的SELECT权限，同时需要有查询pg_ls_waldir()函数的权限，具体操作请参见如何增加PostgreSQL、Gaussdb数据源额外权限？。
2. 需要具备远程连接权限。

   远程连接权限的添加方法：

   • 集中式：在源数据库的“gs_hba.conf”配置文件添加配置“host all <user> 0.0.0.0/0 sha256”和“host replication <user> 0.0.0.0/0 sha256”。
   • 分布式：在源数据库CN节点的“gs_hba.conf”配置文件添加配置“host all <user> 0.0.0.0/0 sha256”；在源数据库DN节点的“gs_hba.conf”配置文件添加配置“host all <user> 0.0.0.0/0 sha256”和“host replication <user> 0.0.0.0/0 sha256”。
   • 在源库使用系统管理员用户执行语句“select pg_reload_conf();”生效，或重启数据库实例生效。
3. 需保证安全组和防火墙策略放开对应连接端口。

   安全组和防火墙开放策略：数据库连接已放开普通连接和复制连接端口。

   集中式：复制连接端口为普通连接端口+1。

   分布式：复制连接端口为CN/DN连接端口+1，在源数据库执行语句“select * from pgxc_node”可查看DN连接端口。

目标数据库连接账号

Kafka开启密文接入场景下，所配置用户需要有发布和订阅Topic的权限，其余场景无特殊权限要求。

同步对象范围

• 支持同步DML：包括INSERT、UPDATE、DELETE。
• 不支持同步DDL。
• 仅支持同步有主键表。
• 仅支持同步分区键为主键的分区表。
• 不支持暂停新增表。
• 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。
• 不支持同步无日志表（UNLOGGED TABLE）、临时表、系统模式和系统表。
• 自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。

数据库限制

• 源数据库参数要求：
  • 源库的password_encryption_type参数设置为1，修改用户密码使其生效。
  • 源库的wal_level参数设置为logical。
  • 源库的max_replication_slots参数值必须大于当前已使用的复制槽数量，可基于需要创建的实时作业数量评估。
• 源数据库的分区表触发器不可以设置为disable。
• 仅支持使用默认证书的DMS Kafka开启SASL_SSL认证进行数据同步；其余类型Kafka不支持开启SASL_SSL认证进行同步。

使用限制

通用：

• 实时同步过程中，不支持IP、端口、账号、密码修改。
• 首次启动作业无法指定位点启动，默认会保留6小时日志，即作业首次启动x小时后，可停止，然后指定前x小时内的位点启动（x不大于日志保留时间），日志保留时间可在“任务配置 > 添加自定义属性”使用参数slot.flush.delay.time自行设置，支持的写法有（1d | 1day | 2days | 1h | 1hour | 2hours | 1m | 1minute | 2minutes）。
• 支持在“任务配置 > 添加自定义属性”使用参数custom.slot.name指定已创建的非活跃复制槽进行增量同步。
• 不支持在作业停止后自动删除逻辑复制槽。

全量同步阶段：

任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。

增量同步阶段：

• 请勿修改源数据库表的主键或者唯一键（主键不存在时），否则可能导致增量数据不一致或任务失败。
• 请勿修改源数据库中表的replica identity属性，否则可能导致增量数据不一致或任务失败。
• GaussDB数据源复制槽数达到上限时，无法执行新的作业，可以通过设置max_replication_slots的数值提高复制槽的使用上限或手动删除复制槽（Postgres数据源不支持自动删除复制槽）解决，手动删除请参见PostgreSQL数据源如何手动删除复制槽？。

常见故障排查：

在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。

其他限制

• 启动任务前，请确保源库中未启动长事务，源库启动长事务会阻塞逻辑复制槽的创建，进而引发任务失败。
• 任务启动后，不支持源库发生主备倒换。