更新时间:2024-05-07 GMT+08:00

DWS Connector概述

数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。

DWS的更多信息,请参见《数据仓库服务管理指南》

DLI Flink 1.15版本支持两种DWS Connector方式用于接入GaussDB数据:
  • (推荐使用)DWS服务自研的DWS Connector:更关注于直接与DWS的性能与交互,用户能够更加灵活便捷的与DWS进行数据的读写操作。

    您可以通过自定义函数(UDF)的方式使用DWS自研的DWS Connector。自定义函数操作请参考自定义函数

    DWS-Connector的使用方法请参考dws-connector-flink

  • (废弃,不推荐使用)DLI服务的DWS Connector:支持自定义sink和source函数,允许用户根据具体需求实现相应的sink或source函数,以实现特定的数据读写逻辑。
    DLI提供的DWS Connector使用方法请参考表1
    表1 DWS Connector支持类别

    类别

    操作指导

    源表

    DWS源表(不推荐使用)

    结果表

    DWS结果表(不推荐使用)

    维表

    DWS维表(不推荐使用)