更新时间:2025-01-24 GMT+08:00
分享

引入依赖

概述

dws-connector-flink是在dws-client的基础上对接Flink的一个工具,工具为对dws-client的包装,整体入库能力跟dws-client一致。dws-connector-flink为GaussDB(DWS)团队自研工具,后续将根据GaussDB(DWS)数据库持续优化。

dws-flink-connector的DWS-Connector只支持单并发查询存量数据,暂不支持并行读取。

引入依赖

dws-connector-flink通过三方maven仓库发布,可选择最新版本使用。链接请参见:https://mvnrepository.com/artifact/com.huaweicloud.dws

1.x版本不区分SQL和API,统一发布带依赖包,软件包命名规则为:dws-connector-flink_${scala.version}_${flink.version}

从2.x开始将分为带依赖和不带依赖的版本,不带依赖的仅可用于Stream API场景,因为该软件包并不包含flink版本不兼容的API代码,其命名统一使用dws-connector-flink,通过版本号区分不同环境,版本号规则为:${flink.version}_${scala.version}_${version} 下载地址:https://mvnrepository.com/artifact/com.huaweicloud.dws/dws-connector-flink。

带依赖版本命名为:dws-connector-flink-sql-${flink.version} 版本规则为:${scala.version}_${version},如:

  • jar包方式提交作业使用Maven方式引入
    1.x版本
    <dependency>
        <groupId>com.huaweicloud.dws</groupId>
        <artifactId>dws-connector-flink_${scala.version}_${flink.version}</artifactId>
        <version>${version}</version>
    </dependency>
    2.x flink sql场景
    <dependency>
        <groupId>com.huaweicloud.dws</groupId>
        <artifactId>dws-connector-flink-sql-${flink.version}</artifactId>
        <version>${scala.version}_${version}</version>
    </dependency>

    2.x Stream API场景

    <dependency>
        <groupId>com.huaweicloud.dws</groupId>
        <artifactId>dws-connector-flink</artifactId>
        <version>${flink.version}_${scala.version}_${version}</version>
    </dependency>
  • 非jar包直接使用sql client或者三方平台使用Flink SQL方式引入

    在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录,从1.0.3版本开始已经将带有依赖的包发布至maven仓库,使用时可直接在仓库下载使用:

    1. 选择匹配flink环境的包。
      图1 Flink包
    2. 进入软件包详情页面。
      图2 Flink包详情页
    3. 选择最新版本。
      图3 选择下载版本
    4. 单击对应文件即可下载。

相关文档