更新时间:2025-05-29 GMT+08:00
分享

创建通用存储导出任务

功能介绍

创建通用存储导出任务

URI

POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data/export-tasks

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

项目id,获取方法请参见获取项目ID

data_warehouse_id

String

通用存储id

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

Content-Type

String

内容类型。填application/json

X-Auth-Token

String

用户Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)

表3 请求Body参数

参数

是否必选

参数类型

描述

bucket_path

String

导出数据的目标obs路径,该路径和导出文件的路径总长度不能超过最大值限制

正则匹配:[^\\:*?"<>|]{1,1024}

bucket_name

String

导出数据的目标obs桶名

正则匹配:^[a-z0-9-\.]{3,63}$

access_key

String

base64编码后的ak(access_key与secret_key需要拥有bucket_name桶的obs:object:GetObject,obs:object:PutObject,obs:bucket:ListAllMyBuckets,obs:bucket:ListBucket权限)

正则匹配:^([A-Za-z0-9+/]{4}){6}([A-Za-z0-9+/]{3}=|[A-Za-z0-9+/]{2}==)$

secret_key

String

base64编码后的sk(access_key与secret_key需要拥有bucket_name桶的obs:object:GetObject,obs:object:PutObject,obs:bucket:ListAllMyBuckets,obs:bucket:ListBucket权限)

正则匹配:^([A-Za-z0-9+/]{4}){14}$|^([A-Za-z0-9+/]{4}){13}([A-Za-z0-9+/]{3}=|[A-Za-z0-9+/]{2}==)$

agreement_confirm

Boolean

是否同意协议,必须为true

export_source

String

导出的数据源

枚举值:

  • ES(数据索引导出,可选择传入warehouse_params中的除file_paths参数的其他参数)

  • OBS(目录树导出,仅需传入warehouse_params中的file_paths参数)

warehouse_params

WarehouseParamRequest object

导出数据的过滤条件

表4 WarehouseParamRequest

参数

是否必选

参数类型

描述

file_paths

Array of strings

文件路径(export_source字段为OBS时,选择的文件路径)

数组长度:1 - 50

data_process_task_ids

Array of strings

数据处理任务id

数组长度:0 - 50

raw_data_ids

Array of strings

原始数据包id

数组长度:0 - 50

start_time

Long

开始时间,UTC标准时间毫秒时间戳

end_time

Long

结束时间,UTC标准时间毫秒时间戳

file_name

String

文件名称,支持模糊匹配

正则匹配:[^\\:*?"<>|]{0,1024}

响应参数

状态码:200

表5 响应Body参数

参数

参数类型

描述

payload

DataWarehouseExportPayload object

实际返回信息

meta_info

MetaInfo object

元数据

表6 DataWarehouseExportPayload

参数

参数类型

描述

item

DataWarehouseExportTask object

导出任务

表7 DataWarehouseExportTask

参数

参数类型

描述

id

String

导出任务id

export_task_name

String

导出任务名称

表8 MetaInfo

参数

参数类型

描述

current_time

String

请求时间,UTC时间格式,时间为UTC标准时间

请求示例

  • 创建导出的数据源为ES时的导出任务

    POST https://{endpoint}/v1.0/{project_id}/common/warehouses/dea44f72-4ec2-446e-af50-a141feb41df2/data/export-tasks
    
    {
      "warehouse_params" : {
        "raw_data_ids" : [ "DPK0402855" ]
      },
      "export_source" : "ES",
      "bucket_name" : "octopus-test",
      "bucket_path" : "test/test",
      "secret_key" : "aWFoYyoqKioqKioqKioqKioqKioqKioqKioqKioqKioqKioqMEwxcw==",
      "access_key" : "Q0lNVCoqKioqKioqKioqKjlPS1k=",
      "agreement_confirm" : true
    }
  • 创建导出的数据源为OBS时的导出任务

    POST https://{endpoint}/v1.0/{project_id}/common/warehouses/dea44f72-4ec2-446e-af50-a141feb41df2/data/export-tasks
    
    {
      "warehouse_params" : {
        "file_paths" : [ "processor-job-554158/test/", "processor-job-554158/test2/" ]
      },
      "export_source" : "OBS",
      "bucket_name" : "octopus-test",
      "bucket_path" : "test/test",
      "secret_key" : "aWFoYyoqKioqKioqKioqKioqKioqKioqKioqKioqKioqKioqMEwxcw==",
      "access_key" : "Q0lNVCoqKioqKioqKioqKjlPS1k=",
      "agreement_confirm" : true
    }

响应示例

状态码:200

创建成功

  • 创建导出的数据源为ES时的导出任务

    {
      "meta_info" : {
        "current_time" : "2025-05-14T06:43:41Z"
      },
      "payload" : {
        "item" : {
          "id" : "99f4bc78-c963-402d-a707-2617016cfd59",
          "export_task_name" : "test_1747205021909"
        }
      }
    }
  • 创建导出的数据源为OBS时的导出任务

    {
      "meta_info" : {
        "current_time" : "2025-05-14T06:43:41Z"
      },
      "payload" : {
        "item" : {
          "id" : "2cb9650c-a57c-4525-8b81-c202d0ad76e1",
          "export_task_name" : "test_1747205021909"
        }
      }
    }

状态码

状态码

描述

200

创建成功

400

参数校验失败

500

系统内部错误

错误码

请参见错误码

相关文档