文档首页/ 数据接入服务 DIS/ API参考/ API说明/ 转储任务管理/ 添加MRS转储任务
更新时间：2024-10-21 GMT+08:00
在线调试
CLI示例
查看PDF
分享

添加MRS转储任务

功能介绍

本接口用于添加MRS转储任务。

调用方法

请参见如何调用API。

URI

POST /v2/{project_id}/streams/{stream_name}/transfer-tasks

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

项目ID。

stream_name

是

String

已创建的通道名称。

最大长度：60

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

String

用户Token。

通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。
表3 请求Body参数

参数

是否必选

参数类型

描述

destination_type

是

String

转储任务类型。

  • OBS：转储到OBS

  • MRS：转储到MRS

  • DLI：转储到DLI

  • CLOUDTABLE：转储到CloudTable

  • DWS：转储到DWS

缺省值：NOWHERE

枚举值：

  • MRS

mrs_destination_descriptor

否

MRSDestinationDescriptorRequest object

转储目的地为MRS的参数列表。
表4 MRSDestinationDescriptorRequest

参数

是否必选

参数类型

描述

task_name

是

String

转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。

agency_name

是

String

在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：- 委托类型：云服务- 云服务：DIS- 持续时间：永久- “所属区域”为“全局服务”，“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。如果已经创建过委托，可以使用IAM服务提供的查询委托列表接口，获取有效可用的委托名称。取值范围：长度不超过64位，且不可配置为空。如果有在Console控制台使用转储任务，会提示自动创建委托，自动创建的委托名称为：dis_admin_agency

最大长度：64

deliver_time_interval

是

Integer

根据用户配置的时间，周期性的将数据导入OBS，若某个时间段内无数据，则此时间段不会生成打包文件。

单位：秒

最小值：30

最大值：900

缺省值：300

consumer_strategy

否

String

偏移量。

  • LATEST：最大偏移量，即获取最新的数据。

  • TRIM_HORIZON：最小偏移量，即读取最早的数据。

缺省值：LATEST

枚举值：

  • LATEST

  • TRIM_HORIZON

mrs_cluster_name

是

String

存储该通道数据的MRS集群名称。

说明：

仅支持非Kerberos认证的MRS集群。

mrs_cluster_id

是

String

存储该通道数据的MRS集群ID。

mrs_hdfs_path

是

String

存储该通道数据的MRS集群的HDFS路径。

file_prefix

否

String

临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。

取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。

默认配置为空。

hdfs_prefix_folder

否

String

在MRS集群HDFS中存储通道文件的自定义目录，多级目录可用"/"进行分隔。

取值范围：0~50个字符。

默认配置为空。

obs_bucket_path

是

String

临时存储该通道数据的OBS桶名称。

retry_duration

否

String

用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值，则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。

取值范围：0~7200。

单位：秒。

默认配置为1800。

配置为“0”表示DIS服务不会在转储失败时进行重试。

响应参数

无

请求示例

添加MRS转储任务

POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks

{
  "destination_type" : "MRS",
  "mrs_destination_descriptor" : {
    "task_name" : "mrstask",
    "consumer_strategy" : "LATEST",
    "agency_name" : "dis_admin_agency",
    "destination_file_type" : "text",
    "mrs_cluster_id" : "f8123fa6-99f1-4ed9-83f4-c827c7277d41",
    "mrs_cluster_name" : "mrscluster",
    "mrs_hdfs_path" : "/user",
    "obs_bucket_path" : "obsbucket",
    "file_prefix" : "",
    "hdfs_prefix_folder" : "",
    "deliver_time_interval" : 30,
    "retry_duration" : 1800
  }
}

响应示例

无

状态码

状态码

描述

201

正常返回

错误码

请参见错误码。

父主题： 转储任务管理

相关文档