PostgreSQL同步到DMS Kafka作业配置

PostgreSQL数据库（PostgreSQL 9.4、9.5、9.6、10、11、12、13、14、15、16版本）

Kafka集群（2.7、3.x版本）

源数据库连接账号

数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELECT权限，REPLICATION连接权限，同时需要有查询pg_ls_waldir()函数的权限，具体操作请参见如何增加PostgreSQL、Gaussdb数据源额外权限？。

目标数据库连接账号

Kafka开启密文接入场景下，所配置用户需要有发布和订阅Topic的权限，其余场景无特殊权限要求。

同步对象范围

• 支持同步DML和DDL。
• 仅支持同步有主键表。
• 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。
• 不支持同步无日志表（UNLOGGED TABLE）、临时表、系统模式和系统表。
• 自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。

数据库限制

• 库名不可以包含+"%'\<>，模式名和表名不可以包含".'<>，列名不可以包含"和'，列名不能为CTID、XMIN、CMIN、XMAX、CMAX、TABLEOID、XC_NODE_ID、TID等DWS禁止的字段。建议尽量使用常规字符避免任务失败。
• 目的端数据库中的对象名需要满足约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$。
• 源数据库的分区表触发器不可以设置为disable。
• 仅支持使用默认证书的DMS Kafka开启SASL_SSL认证进行数据同步；其余类型Kafka不支持开启SASL_SSL认证进行同步。
• 如果做增量同步：源数据库的“pg_hba.conf” 文件中包含如下的配置：

  host replication all 0.0.0.0/0 md5

使用限制

通用：

• 实时同步过程中，不支持IP、端口、账号、密码修改。
• 首次启动作业无法指定位点启动，默认会保留6小时日志，即作业首次启动x小时后，可停止，然后指定前x小时内的位点启动（x不大于日志保留时间），日志保留时间可在“任务配置 > 添加自定义属性”使用参数slot.flush.delay.time自行设置，支持的写法有（1d | 1day | 2days | 1h | 1hour | 2hours | 1m | 1minute | 2minutes）。
• 支持在“任务配置 > 添加自定义属性”使用参数custom.slot.name指定已创建的非活跃复制槽进行增量同步。
• 只支持使用插件为pgoutput的逻辑复制槽，建槽命令：SELECT * FROM pg_create_logical_replication_slot('your_slot_name', 'pgoutput');
• 源表需要发布在dbz_publication中。使用 "select * from pg_publication_tables;" 查询所有表的PUBLICATION，使用 "ALTER PUBLICATION name ADD TABLE [ ONLY ] table_name [ * ] [, ...]" 将表加入发布中。
• 不支持在作业停止后自动删除逻辑复制槽，如果作业不需要再使用，建议删除复制槽以避免日志堆积，手动删除请参见PostgreSQL数据源如何手动删除复制槽？。

全量同步阶段：

任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。

增量同步阶段：

• 请勿修改源数据库表的主键或者唯一键（主键不存在时），否则可能导致增量数据不一致或任务失败。
• 请勿修改源数据库中表的replica identity属性，否则可能导致增量数据不一致或任务失败。
• Postgres数据源复制槽数达到上限时，无法执行新的作业，可以通过设置max_replication_slots的数值提高复制槽的使用上限或手动删除复制槽（Postgres数据源不支持自动删除复制槽）解决，手动删除请参见PostgreSQL数据源如何手动删除复制槽？。

常见故障排查：

在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。

其他限制

• 启动任务前，请确保源库中未启动长事务，源库启动长事务会阻塞逻辑复制槽的创建，进而引发任务失败。
• 任务启动后，不支持源库发生主备倒换。