更新时间:2024-01-30 GMT+08:00
分享

DIS结果表

功能描述

DLI将Flink作业的输出数据写入数据接入服务(DIS)中。适用于将数据过滤后导入DIS通道,进行后续处理的场景。

数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》

语法格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
create table disSink (
  attr_name attr_type 
  (',' attr_name attr_type)* 
  (','PRIMARY KEY (attr_name, ...) NOT ENFORCED)
)
with (
  'connector.type' = 'dis',
  'connector.region' = '',
  'connector.channel' = '',
  'format.type' = ''
);

参数说明

表1 参数说明

参数

是否必选

说明

connector.type

数据源类型,“dis”表示数据源为数据接入服务,必须为dis。

connector.region

数据所在的DIS区域。

connector.ak

访问密钥ID(Access Key ID),需与sk同时设置

connector.sk

Secret Access Key,需与ak同时设置

connector.channel

数据所在的DIS通道名称。

format.type

数据编码格式,可选为“csv”、“json”

format.field-delimiter

属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。

connector.partition-key

数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。

注意事项

示例

将流disSink的数据输出到DIS中。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
create table disSink(
  car_id STRING,
  car_owner STRING,
  car_brand STRING,
  car_speed INT
)
with (
  'connector.type' = 'dis',
  'connector.region' = 'cn-north-1',
  'connector.channel' = 'disOutput',
  'connector.partition-key' = 'car_id,car_owner',
  'format.type' = 'csv'
);
分享:

    相关文档

    相关产品