PostgreSQL同步到DWS

写入模式

enum

UPSERT

DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。

• UPSERT：为批量更新入库模式。
• COPY：为DWS专有的高性能批量入库模式。

批写最大数据量

int

50000

DWS单次写入的最大条数，可在目的端配置中设置。

当缓存的数据达到“批写最大数据量”和“定时批写时间间隔”之一的条件时，触发数据写入。

单次写入条数增大可以减少请求DWS的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载， 适当调整该值。

定时批写时间间隔

int

3

DWS单次写入的时间间隔，可在目的端配置中设置。

当缓存的数据达到定时批写时间间隔的条件，触发数据写入。

增大该值有助于增加单次写入时缓存的数据条数，但由于写入频率降低，会提升DWS数据可见的时延。

sink.buffer-flush.max-size

int

512

DWS单次写入的数据大小，默认为512MB，可在目的端配置的高级配置中设置。

当缓存的数据达到数据大小限制时，触发数据写入。

与批写最大数据量类似，单次写入大小增大可以减少请求DWS的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载， 适当调整该值。