更新时间:2024-05-07 GMT+08:00
DWS Connector概述
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
DWS的更多信息,请参见《数据仓库服务管理指南》。
DLI Flink 1.15版本支持两种DWS Connector方式用于接入GaussDB数据:
- (推荐使用)DWS服务自研的DWS Connector:更关注于直接与DWS的性能与交互,用户能够更加灵活便捷的与DWS进行数据的读写操作。
您可以通过自定义函数(UDF)的方式使用DWS自研的DWS Connector。自定义函数操作请参考自定义函数。
DWS-Connector的使用方法请参考dws-connector-flink。
- (废弃,不推荐使用)DLI服务的DWS Connector:支持自定义sink和source函数,允许用户根据具体需求实现相应的sink或source函数,以实现特定的数据读写逻辑。
DLI提供的DWS Connector使用方法请参考表1
父主题: DWS