更新时间:2023-03-29 GMT+08:00

转储至DLI

源数据类型JSON/CSV

表1 转储相关配置参数

参数

说明

取值

任务名称

用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

-

DLI数据库

单击“选择”,在“选择DLI数据库”窗口选择一个数据库。

此配置项仅支持选择,不可手动输入。

-

DLI数据表

单击“选择”,在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表,且用户需具有该表的插入权限。

此配置项仅支持选择,不可手动输入。

配置此项必须已配置“DLI 数据库”。

偏移量

  • 最新:最大偏移量,即获取最新的有效数据。
  • 最早:最小偏移量,即读取最早的有效数据。

最新

数据转储周期

根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。

取值范围:30~900。

单位:秒。

默认配置为300秒。

-

数据临时桶

用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。

-

数据临时目录

需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。

配置为空时,数据直接存储在OBS桶内。

-