文档首页 > > SQL语法参考> 跨源连接表> DWS表> 创建DLI表关联DWS

创建DLI表关联DWS

分享
更新时间: 2020/01/16 GMT+08:00

功能描述

使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。

语法格式

1
2
3
4
5
6
CREATE TABLE [IF NOT EXISTS] TABLE_NAME
  USING DWS OPTIONS (
  'url'='xx',
  'dbtable'='table_name_in_DWS',
  'user'='YOUR_DWS_USER_NAME',
  'password'='YOUR_PASS_WORD');

关键字

表1 CREATE TABLE参数描述

参数

描述

url

DWS的连接地址,需要先创建跨源连接。

创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。

创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口访问,格式为"协议头://内网IP:内网端口/数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres",获取方式请参考图 DWS集群信息

说明:

DWS的连接地址格式为:"协议头://访问地址:访问端口/数据库名"

例如:

jdbc:postgresql://to-dws-1174405119-ihlUr78j.datasource.com:8000/postgres

如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。

dbtable

指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。

user

DWS的用户名。

password

DWS集群的用户密码。

partitionColumn

读取数据时,用于设置并发使用的数值型字段。

说明:

1. “partitionColumn”,“lowerBound”,“upperBound”,“numPartitions”4个参数必须同时设置,不支持仅设置其中一部分

2. 为了提升并发读取的性能,建议使用自增列。

lowerBound

partitionColumn设置的字段数据最小值,该值包含在返回结果中。

upperBound

partitionColumn设置的字段数据最大值,该值不包含在返回结果中。

numPartitions

读取数据时并发数。

说明:

实际读取数据时,会根据lowerBound与upperBound,平均分配给每个task获取其中一部分的数据。例如:

'partitionColumn'='id',

'lowerBound'='0',

'upperBound'='100',

'numPartitions'='2'

DLI中会起2个并发task,一个task执行id>=0 and id < 50,另一个task执行id >=50 and id < 100。

fetchsize

读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。

batchsize

写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。

truncate

执行overwrite时是否不删除原表,直接执行清空表操作,取值范围:

  • true
  • false

默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。

isolationLevel

事务隔离级别,取值范围:

  • NONE
  • READ_UNCOMMITTED
  • READ_COMMITTED
  • REPEATABLE_READ
  • SERIALIZABLE

默认值为“READ_UNCOMMITTED”

图1 DWS集群信息

注意事项

创建DWS关联表时,不需要指定关联表的Schema。DLI会自动获取DWS中对应参数"dbtable"中的表的Schema。

示例

1
2
3
4
5
6
CREATE TABLE IF NOT EXISTS dli_to_dws
  USING DWS OPTIONS (
  'url'='jdbc:postgresql://to-dws-1174405119-ih1Ur78j.datasource.com:8000/postgres',
  'dbtable'='test_dws',
  'user'='dbadmin',
  'password'='YOUR_PASS_WORD');
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区