DWS-Connector版本说明

1.0

初始化版本。

dws-connector-flink仅发布Scala2.11 Flink 1.12版本

1.0.2

dwsclient优化异常重试逻辑，由所有异常重试修改为只重试：连接异常、数据库只读、超时、连接数过多、加锁异常五类异常。

dws-connector-flink支持版本：

Scala2.11： Flink 1.12、1.13

Scala2.12：Flink 1.12、1.13、1.15

1.0.3

1. 已知问题修复与性能优化。
2. 支持update写入场景。
3. 支持使用唯一索引。
4. 由于支持update模式，为避免原dwsClient中upsert接口歧义，故后续统一使用write接口承载写入操作，两接口能力一致推荐使用write。

-

1.0.4

增加SQL执行超时时间，避免长时间阻塞。

-

1.0.5

修复无主键表相同数据写入丢失问题。

-

1.0.6

1. 优化攒缓存逻辑代码性能，提升在CPU不足场景的吞吐。
2. 增加临时表复用，避免在copy merge/upsert场景频繁创建临时表。
3. copy增加CSV格式，避免在数据复杂时受特殊字符干扰无法正常入库。

-

1.0.7

1. 数据库重启中写入数据失败后支持重试。
2. 增加as方式创建临时表，解决在有主键表无法使用copy merge/upsert的问题。
3. 数据库字段适配为默认大小写不敏感。
4. Flink SQL增加打印主键参数，用于分析数据缺失时排查问题。

-

1.0.8

1. 修复Flink SQL主键配置必须大小写和数据库一致问题。
2. 增加设置sink并发的参数。

-

1.0.9

优化时间类型入库。

-

1.0.10

1. 修复client并发执行delete和insert，导致有概率先执行insert后执行delete，当同主键数据在同一批缓存中先删除后写入会导致丢数据问题。
2. 修复Kafka写dws链路中偶现写DWS异常后丢数据问题。
3. 新增connector参数ignoreUpdateBefore，部分主要参数兼容flink-connector-jdbc。

-