最新动态
功能总览
服务公告
- 产品公告
- 版本支持公告
产品介绍
- 图解数据仓库服务
- 什么是数据仓库服务
- 数据仓库类型
- 数据仓库规格
- 产品优势
- 应用场景
- 产品功能
- 基本概念
- 与其他云服务的关系
- 安全
- GaussDB(DWS)权限管理
- 如何访问GaussDB(DWS)
- 使用限制
- 技术支持
- 配额说明
- GaussDB(DWS)技术指标
计费说明
- GaussDB(DWS)计费概述
- 计费模式
- 计费项
- 计费样例
- 变更计费模式
- 续费
  - 续费概述
  - 手动续费
- 费用账单
- 欠费说明
- 停止计费
- 成本管理
- 计费FAQ
快速入门
- 免费体验GaussDB(DWS)
- 快速创建GaussDB(DWS)集群并导入数据进行查询
- GaussDB(DWS)数据开发SQL入门操作
- GaussDB(DWS)入门实践
用户指南
- GaussDB(DWS)使用流程
- 准备工作
- 创建GaussDB(DWS)集群
- 连接GaussDB(DWS)集群
- 创建GaussDB(DWS)数据库和用户
- 迁移业务数据至GaussDB(DWS)集群
  - 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群
  - 管理数据源
- GaussDB(DWS)集群数据安全与加密
- GaussDB(DWS)集群管理
- GaussDB(DWS)集群运维
最佳实践
- 导入导出
- 数据迁移
- 数据分析
- 存算分离
  - GaussDB(DWS) 3.0 存算分离使用建议及性能优化
- 数据开发
- 数据库管理
- 性能调优
  - 基于表结构设计和调优提升GaussDB(DWS)查询性能
  - 分析正在执行的SQL以处理GaussDB(DWS)业务阻塞
- 集群管理
  - 为两种作业绑定不同资源池以实现GaussDB(DWS)资源负载能力
  - GaussDB(DWS)存算一体架构弹性伸缩系统性介绍
数据迁移与同步
- 迁移数据到GaussDB(DWS)
- 导入数据
- 整库迁移
  - 使用CDM迁移数据到GaussDB(DWS)
  - 使用DSC工具迁移SQL脚本
- 实时入库
  - Kafka实时入库到GaussDB(DWS)
- 元数据迁移
  - 使用gs_dump和gs_dumpall命令导出元数据
  - 使用gs_restore导入数据
- 导出数据
- 其他操作
开发指南
- 标准数仓开发指南(9.1.0.x)
- 标准数仓开发指南(8.1.3.x)
- 实时数仓开发指南(9.1.0.x)
- 实时数仓开发指南(8.1.3.x)
- 历史版本
SQL语法参考
- SQL语法参考(9.1.0.x)
- SQL语法参考(8.1.3.x)
- 历史版本
工具指南
- 工具简介
- 工具下载
- gsql
- Data Studio
- GDS
- DSC
- DataCheck
- DWS-Connector
- 服务端工具
API参考
- 使用前必读
- API概述
- 如何调用API
- 快速入门
- API说明
- 应用示例
  - 使用Postman调用创建集群接口
  - 使用Postman调用创建快照接口
- 权限及授权项说明
- 附录
SDK参考
- SDK概述
场景代码示例
错误码参考
- 控制台错误码
  - 管理控制台错误码
- 错误码(8.2.0及以下版本)
  - 管理控制台错误码
  - 数据仓库错误码
- 8.2.1及以上版本
  - 错误码命名规范
  - 行列存
    - 行存
    - 列存
    - GIN索引
    - Btree索引
    - 行存vacuum
    - SP-GiST索引
    - Hash索引
  - 事务
    - 锁
    - GTM
    - xlog
    - checkpoint
  - HA
  - SQL on Anywhere
    - SQL on hudi
    - OBS / HDFS / DLI
  - GDS/Copy
    - 公共机制（选项参数、任务分配、压缩）
    - 导入
  - 解析器
    - 词法分析
    - 语法分析
    - DDL
    - DML
    - 表达式
    - 元数据
  - 优化器
  - 执行器
  - 安全
    - 授权
    - 脱敏
  - 通信
  - WLM
  - 逻辑集群
  - 其他
常见问题
- Top问题汇总
- 产品咨询
- 数据库连接
- 数据迁移
- 数据库使用
- 集群管理
- 账户与权限
- 数据库性能
- 备份恢复
  1. 为什么DWS自动快照创建很慢，很长时间都没有创建好？
  2. DWS快照是否与EVS快照功能相同？
故障排除
- 数据库连接管理
- JDBC/ODBC类
- 数据导入/导出
- 数据库参数修改
- 账号/权限/密码
- 集群性能
- 集群异常
  - 磁盘监控告警阈值太低，告警频繁
- 数据库使用
视频帮助
性能白皮书
- 性能白皮书(9.1.0.x)
- 性能白皮书(8.1.3.x)
文档下载
通用参考
- 产品术语
- 云服务等级协议（SLA）
- 白皮书资源
- 支持区域
- 系统权限

本文导读

展开导读

文档首页/ 数据仓库服务 GaussDB(DWS)/ 工具指南/ DWS-Connector/ dws-connector-flink/ Flink SQL作业类型/ 做维表

做维表

更新时间：2024-12-10 GMT+08:00

语法格式

    
       create table dwsSource (
  attr_name attr_type 
  (',' attr_name attr_type)* 
)
with (
  'connector' = 'dws',
  'url' = '',
  'tableName' = '',
  'username' = '',
  'password' = ''
);

参数说明

表1 数据库配置
参数	说明	默认值
connector	flink框架区分Connector参数，固定为dws。	-
url	数据库连接地址。	-
username	配置连接用户。	-
password	数据库用户密码。	-

表2 连接配置参数
参数	名称	类型	说明	默认值
connectionSize	读取线程池大小	int	用于执行操作的线程数量 = 数据库连接数量，同写入线程大小。	1
readBatchSize	最多一次将get请求合并提交的数量	int	当查询请求积压后，最大的批量查询数量。	128
readBatchQueueSize	get请求缓冲池大小	int	查询请求最大积压容量。	256
readTimeoutMs	get操作的超时时间（毫秒/ms）	int	默认值0表示不超时，会在两处位置生效： get操作从用户开始执行到client准备提交到dws的等待时间。 get sql的执行超时，即statement query timeout。	0
readSyncThreadEnable	非异步查询时，是否开启线程池	boolean	开启后future.get()异步阻塞，关闭后主线程同步调用阻塞。	true
lookupScanEnable	是否开启scan查询	boolean	关联条件在非全主键匹配下，是否开启scan查询。若为false，则join关联条件必须全为主键，否则将抛异常。	false
fetchSize / lookupScanFetchSize	scan一次查询大小	int	非全主键匹配下，一次条件查询的返回数量限制（默认fetchSize生效，当fetchSize为0时，lookupScanFetchSize生效）。	1000
lookupScanTimeoutMs	scan操作的超时时间（毫秒/ms）	int	非全主键匹配下，一次条件查询的超时限制（ms）。	60000
lookupAsync	是否采用异步方式获取数据	boolean	查询方式设置为同步or异步。	true
lookupCacheType	缓存策略	LookupCacheType	设置以下缓存策略（不区分大小写）： None：无缓存LRU（默认值）：缓存维表里的部分数据。源表的每条数据都会触发系统先在Cache中查找数据，如果未找到，则去物理维表中查找。 ALL：全量数据缓存，适合不常更新小表。	LookupCacheType.LRU
lookupCacheMaxRows	缓存大小	long	当选择LRU缓存策略后，可以设置缓存大小。	1000
lookupCacheExpireAfterAccess	读取后开始计算的超时时间	Duration	当选择LRU缓存策略后，可以设置每次读取后，超时时间顺延长，默认不生效。	null
lookupCacheExpireAfterWrite	写入后开始计算的超时时间	Duration	当选择LRU缓存策略后，可以设置每次写入后，超时时间固定，不论访问与否。	10s
lookupCacheMissingKey	数据不存在后写入缓存	boolean	当选择LRU缓存策略后，维表数据不存在，同时将数据缓存。	false
lookupCacheReloadStrategy	全量缓存重载策略	ReloadStrategy	当选择ALL缓存策略后，可以设置以下数据重载策略： PERIODIC：周期性数据重载。 TIMED：定时数据重载，以天为单位。	ReloadStrategy.PERIODIC
lookupCachePeriodicReloadInterval	数据重载时间间隔	Duration	当选择PERIOD重载策略时，可以设置全量缓存重载间隔。	1h
lookupCachePeriodicReloadMode	数据重载模式	ScheduleMode	当选择PERIOD重载策略时，可以设置以下重载模式（不区分大小写）： FIXED_DELAY：从上一个加载结束计算重新加载间隔。 FIXED_RATE：从上一个加载开始计算重新加载间隔。	ScheduleMode.FIXED_DELAY
lookupCacheTimedReloadTime	数据重载定时调度时间	string	当选择TIMED重载策略时，可以设置全量缓存重载时间，以ISO-8601格式表示。例如：“10:15”。	00:00
lookupCacheTimedReloadIntervalDays	数据重载定时周期调度间隔天数	int	当选择TIMED重载策略时，可以设置全量缓存周期调度间隔天数。	1

示例

从Kafka源表中读取数据，将GaussDB(DWS)表作为维表，并将二者生成的宽表信息写入print结果表中，其具体步骤如下：

连接GaussDB(DWS)数据库实例，在GaussDB(DWS)中创建相应的表，作为维表，表名为area_info，SQL语句如下：

      
         create table public.area_info(
  area_id VARCHAR,
  area_province_name VARCHAR,
  area_city_name VARCHAR,
  area_county_name VARCHAR,
  area_street_name VARCHAR,
  region_name VARCHAR,
  PRIMARY KEY(area_id)
);

连接GaussDB(DWS)数据库实例，向GaussDB(DWS)维表area_info中插入测试数据，其语句如下：

      
         insert into area_info
  (area_id, area_province_name, area_city_name, area_county_name, area_street_name, region_name) 
  values
  ('330102', 'a1', 'b1', 'c1', 'd1', 'e1'),
  ('330106', 'a1', 'b1', 'c2', 'd2', 'e1'),
  ('330108', 'a1', 'b1', 'c3', 'd3', 'e1'),
  ('330110', 'a1', 'b1', 'c4', 'd4', 'e1');

flink sql创建源表、结果表、维表并执行SQL：

CREATE TABLE orders (
  order_id string,
  order_channel string,
  order_time string,
  pay_amount double,
  real_pay double,
  pay_time string,
  user_id string,
  user_name string,
  area_id string,
  proctime as Proctime()
) WITH (
  'connector' = 'kafka',
  'topic' = 'order_test',
  'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort',
  'properties.group.id' = 'dws-order',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json'
);
--创建地址维表
create table area_info (
    area_id string, 
    area_province_name string, 
    area_city_name string, 
    area_county_name string,
    area_street_name string, 
    region_name string 
) WITH (
  'connector' = 'dws',
  'url' = 'jdbc:gaussdb://DwsAddress:DwsPort/DwsDbName',
  'tableName' = 'area_info',
  'username' = 'DwsUserName',
  'password' = 'DwsPassword',
  'lookupCacheMaxRows' = '10000',
  'lookupCacheExpireAfterAccess' = '2h'
);
--根据地址维表生成详细的包含地址的订单信息宽表
create table order_detail(
    order_id string,
    order_channel string,
    order_time string,
    pay_amount double,
    real_pay double,
    pay_time string,
    user_id string,
    user_name string,
    area_id string,
    area_province_name string,
    area_city_name string,
    area_county_name string,
    area_street_name string,
    region_name string
) with (
  'connector' = 'print'
 
);
insert into order_detail
    select orders.order_id, orders.order_channel, orders.order_time, orders.pay_amount, orders.real_pay, orders.pay_time, orders.user_id, orders.user_name,
           area.area_id, area.area_province_name, area.area_city_name, area.area_county_name,
           area.area_street_name, area.region_name  from orders
    left join area_info for system_time as of orders.proctime as area on orders.area_id = area.area_id;

在Kafka中写入数据：

      
         {"order_id":"202103241606060001", "order_channel":"appShop", "order_time":"2021-03-24 16:06:06", "pay_amount":"200.00", "real_pay":"180.00", "pay_time":"2021-03-24 16:10:06", "user_id":"0001", "user_name":"Alice", "area_id":"330106"}
{"order_id":"202103251202020001", "order_channel":"miniAppShop", "order_time":"2021-03-25 12:02:02", "pay_amount":"60.00", "real_pay":"60.00", "pay_time":"2021-03-25 12:03:00", "user_id":"0002", "user_name":"Bob", "area_id":"330110"}
{"order_id":"202103251505050001", "order_channel":"qqShop", "order_time":"2021-03-25 15:05:05", "pay_amount":"500.00", "real_pay":"400.00", "pay_time":"2021-03-25 15:10:00", "user_id":"0003", "user_name":"Cindy", "area_id":"330108"}

结果参考如下：

父主题： Flink SQL作业类型

上一篇：做源表

下一篇：服务端工具

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问

做维表

语法格式

参数说明

示例

相关文档

意见反馈

文档内容是否对您有帮助？

7*24

备案

专业服务

退订

建议反馈

售前咨询热线

文档反馈