DIS结果表
功能描述
DLI将Flink作业的输出数据写入数据接入服务(DIS)中。适用于将数据过滤后导入DIS通道,进行后续处理的场景。
数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》。
语法格式
1 2 3 4 5 6 7 8 9 10 11 |
create table disSink ( attr_name attr_type (',' attr_name attr_type)* (','PRIMARY KEY (attr_name, ...) NOT ENFORCED) ) with ( 'connector.type' = 'dis', 'connector.region' = '', 'connector.channel' = '', 'format.type' = '' ); |
参数说明
参数 |
是否必选 |
说明 |
---|---|---|
connector.type |
是 |
数据源类型,“dis”表示数据源为数据接入服务,必须为dis。 |
connector.region |
是 |
数据所在的DIS区域。 |
connector.ak |
否 |
访问密钥ID(Access Key ID),需与sk同时设置 |
connector.sk |
否 |
Secret Access Key,需与ak同时设置 |
connector.channel |
是 |
数据所在的DIS通道名称。 |
format.type |
是 |
数据编码格式,可选为“csv”、“json” |
format.field-delimiter |
否 |
属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 |
connector.partition-key |
否 |
数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 |
注意事项
无
示例
将流disSink的数据输出到DIS中。
1 2 3 4 5 6 7 8 9 10 11 12 13 |
create table disSink( car_id STRING, car_owner STRING, car_brand STRING, car_speed INT ) with ( 'connector.type' = 'dis', 'connector.region' = 'cn-north-1', 'connector.channel' = 'disOutput', 'connector.partition-key' = 'car_id,car_owner', 'format.type' = 'csv' ); |