引入依赖
概述
dws-connector-flink是在dws-client的基础上对接Flink的一个工具,工具为对dws-client的包装,整体入库能力跟dws-client一致。dws-connector-flink为GaussDB(DWS)团队自研工具,后续将根据GaussDB(DWS)数据库持续优化。
![](https://support.huaweicloud.com/tg-dws/public_sys-resources/note_3.0-zh-cn.png)
dws-flink-connector的DWS-Connector只支持单并发查询存量数据,暂不支持并行读取。
引入依赖
dws-connector-flink通过三方maven仓库发布,可选择最新版本使用。链接请参见:https://mvnrepository.com/artifact/com.huaweicloud.dws。
1.x版本不区分SQL和API,统一发布带依赖包,软件包命名规则为:dws-connector-flink_${scala.version}_${flink.version}
从2.x开始将分为带依赖和不带依赖的版本,不带依赖的仅可用于Stream API场景,因为该软件包并不包含flink版本不兼容的API代码,其命名统一使用dws-connector-flink,通过版本号区分不同环境,版本号规则为:${flink.version}_${scala.version}_${version} 下载地址:https://mvnrepository.com/artifact/com.huaweicloud.dws/dws-connector-flink。
带依赖版本命名为:dws-connector-flink-sql-${flink.version} 版本规则为:${scala.version}_${version},如:
- jar包方式提交作业使用Maven方式引入
1.x版本
<dependency> <groupId>com.huaweicloud.dws</groupId> <artifactId>dws-connector-flink_${scala.version}_${flink.version}</artifactId> <version>${version}</version> </dependency>
2.x flink sql场景<dependency> <groupId>com.huaweicloud.dws</groupId> <artifactId>dws-connector-flink-sql-${flink.version}</artifactId> <version>${scala.version}_${version}</version> </dependency>
2.x Stream API场景
<dependency> <groupId>com.huaweicloud.dws</groupId> <artifactId>dws-connector-flink</artifactId> <version>${flink.version}_${scala.version}_${version}</version> </dependency>
- 非jar包直接使用sql client或者三方平台使用Flink SQL方式引入
在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录,从1.0.3版本开始已经将带有依赖的包发布至maven仓库,使用时可直接在仓库下载使用:
- 选择匹配flink环境的包。
图1 Flink包
- 进入软件包详情页面。
图2 Flink包详情页
- 选择最新版本。
图3 选择下载版本
- 单击对应文件即可下载。
- 选择匹配flink环境的包。