更新时间:2024-10-21 GMT+08:00

添加MRS转储任务

功能介绍

本接口用于添加MRS转储任务。

调用方法

请参见如何调用API

URI

POST /v2/{project_id}/streams/{stream_name}/transfer-tasks

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

项目ID。

stream_name

String

已创建的通道名称。

最大长度:60

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

String

用户Token。

通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。

表3 请求Body参数

参数

是否必选

参数类型

描述

destination_type

String

转储任务类型。

  • OBS:转储到OBS

  • MRS:转储到MRS

  • DLI:转储到DLI

  • CLOUDTABLE:转储到CloudTable

  • DWS:转储到DWS

缺省值:NOWHERE

枚举值:

  • MRS

mrs_destination_descriptor

MRSDestinationDescriptorRequest object

转储目的地为MRS的参数列表。

表4 MRSDestinationDescriptorRequest

参数

是否必选

参数类型

描述

task_name

String

转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

agency_name

String

在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。如果已经创建过委托,可以使用IAM服务提供的查询委托列表接口,获取有效可用的委托名称。取值范围:长度不超过64位,且不可配置为空。如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency

最大长度:64

deliver_time_interval

Integer

根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。

单位:秒

最小值:30

最大值:900

缺省值:300

consumer_strategy

String

偏移量。

  • LATEST:最大偏移量,即获取最新的数据。

  • TRIM_HORIZON:最小偏移量,即读取最早的数据。

缺省值:LATEST

枚举值:

  • LATEST

  • TRIM_HORIZON

mrs_cluster_name

String

存储该通道数据的MRS集群名称。

说明:

仅支持非Kerberos认证的MRS集群。

mrs_cluster_id

String

存储该通道数据的MRS集群ID。

mrs_hdfs_path

String

存储该通道数据的MRS集群的HDFS路径。

file_prefix

String

临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。

取值范围:英文字母、数字、下划线和斜杠,最大长度为50个字符。

默认配置为空。

hdfs_prefix_folder

String

在MRS集群HDFS中存储通道文件的自定义目录,多级目录可用"/"进行分隔。

取值范围:0~50个字符。

默认配置为空。

obs_bucket_path

String

临时存储该通道数据的OBS桶名称。

retry_duration

String

用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。

取值范围:0~7200。

单位:秒。

默认配置为1800。

配置为“0”表示DIS服务不会在转储失败时进行重试。

响应参数

请求示例

添加MRS转储任务

POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks

{
  "destination_type" : "MRS",
  "mrs_destination_descriptor" : {
    "task_name" : "mrstask",
    "consumer_strategy" : "LATEST",
    "agency_name" : "dis_admin_agency",
    "destination_file_type" : "text",
    "mrs_cluster_id" : "f8123fa6-99f1-4ed9-83f4-c827c7277d41",
    "mrs_cluster_name" : "mrscluster",
    "mrs_hdfs_path" : "/user",
    "obs_bucket_path" : "obsbucket",
    "file_prefix" : "",
    "hdfs_prefix_folder" : "",
    "deliver_time_interval" : 30,
    "retry_duration" : 1800
  }
}

响应示例

状态码

状态码

描述

201

正常返回

错误码

请参见错误码