更新时间:2025-12-03 GMT+08:00
分享

引入依赖

概述

dws-connector-flink是在dws-client的基础上对接Flink的一个工具,工具为对dws-client的包装,整体入库能力跟dws-client一致。dws-connector-flink为DWS团队自研工具,后续将根据DWS数据库持续优化。

dws-flink-connector的DWS-Connector只支持单并发查询存量数据,暂不支持并行读取。

引入依赖下载地址

dws-connector-flink通过三方maven仓库发布,可选择最新版本使用。

  • 1.x版本不区分SQL和API,统一发布带依赖包,访问下载地址获取,如图1显示的为1.x版本,根据对应scala、Flink版本进行选择。

    软件包命名规则为:dws-connector-flink_${scala.version}_${flink.version}

    图1 1.x版本
  • 从2.x版本开始将分为带依赖不带依赖的版本。
    • 不带依赖的版本,仅可用于Stream API场景,因为该软件包并不包含flink版本不兼容的API代码。

      其命名统一使用dws-connector-flink,通过版本号区分不同环境,访问下载地址获取,如图2所示,根据对应scala、Flink版本进行选择。

      软件包命名规则为:${flink.version}_${scala.version}_${version}

      图2 2.x不带依赖的版本
    • 带依赖版本,支持Flink SQL并兼容Stream API场景,访问下载地址获取,如图3所示,先根据Flink版本选择对应包,再如图4所示,根据scala版本选择对应的最终包。

      软件包命名规则为:dws-connector-flink-sql-${flink.version} ,内层版本规则为:${scala.version}_${version},如:

      图3 2.x带依赖包的版本
      图4 选择对应scala版本

jar包方式提交作业使用Maven方式引入

1.x版本
<dependency>
    <groupId>com.huaweicloud.dws</groupId>
    <artifactId>dws-connector-flink_${scala.version}_${flink.version}</artifactId>
    <version>${version}</version>
</dependency>
2.x flink sql场景
<dependency>
    <groupId>com.huaweicloud.dws</groupId>
    <artifactId>dws-connector-flink-sql-${flink.version}</artifactId>
    <version>${scala.version}_${version}</version>
</dependency>

2.x Stream API场景

<dependency>
    <groupId>com.huaweicloud.dws</groupId>
    <artifactId>dws-connector-flink</artifactId>
    <version>${flink.version}_${scala.version}_${version}</version>
</dependency>

非jar包直接使用sql client或者三方平台使用Flink SQL方式引入

在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录,从1.0.3版本开始已经将带有依赖的包发布至maven仓库,使用时可直接在仓库下载使用:

  1. 选择匹配flink环境的包。
    图5 Flink包
  2. 进入软件包详情页面。
    图6 Flink包详情页
  3. 选择最新版本。
    图7 选择下载版本
  4. 单击对应文件即可下载。

相关文档