更新时间:2024-06-29 GMT+08:00

引入依赖

概述

dws-connector-flink是在dws-client的基础上对接Flink的一个工具,工具为对dws-client的包装,整体入库能力跟dws-client一致。dws-connector-flink为GaussDB(DWS)团队自研工具,后续将根据GaussDB(DWS)数据库持续优化。

dws-flink-connector的DWS-Connector只支持单并发查询存量数据,暂不支持并行读取。

引入依赖

  • Maven方式引入
    dws-connector-flink已发布至maven仓库,可选择最新版本使用。链接请参见:https://mvnrepository.com/artifact/com.huaweicloud.dws
    <dependency>
        <groupId>com.huaweicloud.dws</groupId>
        <artifactId>dws-connector-flink_${scala.version}_${flink.version}</artifactId>
        <version>${version}</version>
    </dependency>
  • Flink SQL方式引入

    在使用Flink SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录,从1.0.3版本开始已经将带有依赖的包发布至maven仓库,使用时可直接在仓库下载使用:

    1. 选择匹配flink环境的包。
      图1 Flink包
    2. 进入软件包详情页面。
      图2 Flink包详情页
    3. 选择最新版本。
      图3 选择下载版本
    4. 选择查看所有文件。
      图4 查看所有文件
      • 对应版本下的文件列表中javadoc是文档,source是源码,排除这两个类型文件,jar包最大的那个就是带依赖的包,不同版本后缀名称略有差异。
      • 如果无对应Flink版本,可用当前版本相近的版本尝试。
    5. 单击对应文件即可下载。