更新时间:2024-02-05 GMT+08:00
分享

添加DLI转储任务

功能介绍

本接口用于添加DLI转储任务。

调用方法

请参见如何调用API

URI

POST /v2/{project_id}/streams/{stream_name}/transfer-tasks

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

项目ID。

stream_name

String

已创建的通道名称。

最大长度:60

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

String

用户Token。

通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。

表3 请求Body参数

参数

是否必选

参数类型

描述

destination_type

String

转储任务类型。

  • OBS:转储到OBS

  • MRS:转储到MRS

  • DLI:转储到DLI

  • CLOUDTABLE:转储到CloudTable

  • DWS:转储到DWS

缺省值:NOWHERE

枚举值:

  • DLI

dli_destination_descriptor

DliDestinationDescriptorRequest object

转储目的地为DLI的参数列表。

表4 DliDestinationDescriptorRequest

参数

是否必选

参数类型

描述

task_name

String

转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

agency_name

String

在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。如果已经创建过委托,可以使用IAM服务提供的查询委托列表接口,获取有效可用的委托名称。取值范围:长度不超过64位,且不可配置为空。如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency

最大长度:64

deliver_time_interval

Integer

根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。

单位:秒

最小值:30

最大值:900

缺省值:300

consumer_strategy

String

偏移量。

  • LATEST:最大偏移量,即获取最新的数据。

  • TRIM_HORIZON:最小偏移量,即读取最早的数据。

缺省值:LATEST

枚举值:

  • LATEST

  • TRIM_HORIZON

dli_database_name

String

存储该通道数据的DLI数据库名称。

dli_table_name

String

存储该通道数据的DLI表名称。

说明:

仅支持数据位置为DLI的表,且用户需具有该表的插入权限。

obs_bucket_path

String

临时存储该通道数据的OBS桶名称。

file_prefix

String

临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。

取值范围:英文字母、数字、下划线和斜杠,最大长度为50个字符。

默认配置为空。

retry_duration

String

用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围:0~7200。单位:秒。默认配置为1800。配置为“0”表示DIS服务不会在转储失败时进行重试。

响应参数

请求示例

添加DLI转储任务

POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks

{
  "destination_type" : "DLI",
  "dli_destination_descriptor" : {
    "task_name" : "dlitask",
    "consumer_strategy" : "LATEST",
    "agency_name" : "dis_admin_agency",
    "dli_database_name" : "dlidatabasename",
    "dli_table_name" : "dlitablename",
    "obs_bucket_path" : "obsbucket",
    "file_prefix" : "",
    "deliver_time_interval" : 300,
    "retry_duration " : 300
  }
}

响应示例

状态码

状态码

描述

201

正常返回

错误码

请参见错误码

分享:

    相关文档

    相关产品