文档首页/ 湖仓构建 LakeFormation/ API参考/ API/ LakeCat/ 分区管理/ 批量删除分区信息
更新时间：2024-02-21 GMT+08:00
查看PDF
分享

批量删除分区信息

功能介绍

非事务表：如果设置删除数据，立刻删除分区数据路径下的数据。 事务表：如果设置删除数据，保留数据在原路径下但对外不可见，待数据超期后统一删除。

调试

您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

URI

POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-drop

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

项目编号。获取方法，请参见获取项目ID。

instance_id

是

String

LakeFormation实例ID。创建实例时自动生成。例如：2180518f-42b8-4947-b20b-adfc53981a25。

catalog_name

是

String

catalog名称。只能包含字母、数字和下划线，且长度为1~256个字符。

database_name

是

String

数据库名称。只能包含中文、字母、数字、下划线、中划线，且长度为1~128个字符。

table_name

是

String

表名称。只能包含中文、字母、数字、下划线、中划线，且长度为1~256个字符。

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

Array of strings

租户token
表3 请求Body参数

参数

是否必选

参数类型

描述

if_exist

否

Boolean

是否跳过不存在分区。默认为false。

delete_data

否

Boolean

非事务表：删除分区的数据；若if_purge为真，立即释放空间。 事务表：数据保留但不可见，待数据过期统一删除。默认为false。

partition_values

是

Array<Array<String>>

删除分区值列表。

响应参数

状态码： 200

表4 响应Body参数

参数

参数类型

描述

[数组元素]

Array of Partition objects

已删除partition列表
表5 Partition

参数

参数类型

描述

catalog_name

String

catalog名称。

catalog_id

String

catalogID。

database_name

String

数据库名称。

database_id

String

数据库ID。

table_name

String

表名称。

table_id

String

表ID。

partition_id

String

分区ID。

partition_values

Array of strings

分区值的列表。

create_time

String

创建时间。

last_access_time

String

最后访问时间。

parameters

Map<String,String>

参数表。

storage_descriptor

StorageDescriptor object

数据存储。
表6 StorageDescriptor

参数

参数类型

描述

columns

Array of Column objects

分区列以外的所有字段。

location

String

路径地址。例如obs://location/uri/。

compressed

Boolean

是否启用数据压缩。默认为false。

input_format

String

输入格式。

output_format

String

输出格式。

number_of_buckets

Integer

分桶的桶数量。默认值为0。

bucket_columns

Array of strings

分桶字段。

sort_columns

Array of Order objects

指定表中的每个存储桶的排序顺序的列表。

serde_info

SerDeInfo object

序列化/反序列化信息。

parameters

Map<String,String>

存储描述符的参数。 key最小长度为1，最大长度为255。 value最大长度为4000

skewed_info

SkewedInfo object

有关在列中经常出现的值（偏斜值）的信息。

stored_as_sub_directories

Boolean

数据是否会存放在子目录中。
表7 Column

参数

参数类型

描述

column_type

String

列类型，包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar

column_name

String

列名称。只能包含中文、字母、数字和_-+*(), 特殊字符，且长度为1~767个字符。

comment

String

列描述信息。最大长度为4000个字符。
表8 Order

参数

参数类型

描述

column

String

列名称。只能包含中文、字母、数字和_-+*(), 特殊字符，且长度为1~767个字符。

sort_order

Integer

指示是按升序 (== 1) 还是降序 (==0) 对列进行排序。
表9 SerDeInfo

参数

参数类型

描述

name

String

名称信息。

serialization_library

String

实现序列化/反序列化的类。

parameters

Map<String,String>

参数数组。 key最小值1，最大值255 value最大值4000
表10 SkewedInfo

参数

参数类型

描述

skewed_column_names

Array of strings

数据偏移列的列表。

skewed_column_value_location_maps

Map<String,String>

偏斜值和地址的映射关系。

skewed_column_values

Array<Array<String>>

偏斜值的列表。

状态码： 400

表11 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

solution_msg

String

解决方案描述。

状态码： 404

表12 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

solution_msg

String

解决方案描述。

状态码： 500

表13 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

solution_msg

String

解决方案描述。

请求示例

POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-drop

{
  "if_exist" : true,
  "delete_data" : true,
  "partition_values" : [ [ "54fd5f39855e43e29630196af18cfb22", "ae64345374854efc819fac880541465e" ], [ "c085eeb64df04982a4c93d3a33fc8cf6", "e9c380472d974182b973f46443e8dc3b" ], [ "ca39a2137c8548d0a49842802f2dedb8", "c1d9679369494c52933c31ecd5483550" ] ]
}

响应示例

状态码： 200

已删除partition列表

[ {
  "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
  "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
  "table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
  "partition_values" : [ "48e1f86dc4394a218b832d94411805fe", "5a2ab07a663c49a98cc606e6ffa0b178" ],
  "create_time" : "2023-05-30T09:06:41.372+00:00",
  "last_access_time" : "2023-05-30T09:06:41.000+00:00",
  "parameters" : {
    "key1" : "value1",
    "transient_lastDdlTime" : "120",
    "classification" : "other"
  },
  "storage_descriptor" : {
    "columns" : [ {
      "column_type" : "string",
      "column_name" : "column_prefix0",
      "comment" : "83e99b4daff04e75b28263bf44495a3c"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix1",
      "comment" : "d947669d90884014b60264b2770849ae"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix2",
      "comment" : "21edd8e92f2448deb036f8e4682ec694"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix3",
      "comment" : "fc25f38e8b694aebb34a2f84ef4a62f7"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix4",
      "comment" : "3443079e616d447f8f35da2014754701"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix5",
      "comment" : "5f7dda02ac8e4813b3eb4858abb7c520"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix6",
      "comment" : "2a6ae2e5bc3f4add99133106f2cd526c"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix7",
      "comment" : "84d50424269a41fbb5528b350e9d0b13"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix8",
      "comment" : "e3f1d2fa80454554a22e8564ec9c4832"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix9",
      "comment" : "f11315794e6d40daa2cb8347c61e5a46"
    } ],
    "location" : "obs://location/test/database/b593fc09871e4c9886ed931a3e51f9e5",
    "compressed" : false,
    "input_format" : "8c470072d43344a3a3bfabd2c7f9d6ec",
    "output_format" : "74ee5be43fb548e7b988390df05134fa",
    "number_of_buckets" : 0,
    "bucket_columns" : [ ],
    "sort_columns" : [ ],
    "serde_info" : {
      "name" : "9b3ea84748854c2d86a71ae37e246293",
      "serialization_library" : "e9632ffbbfbe425d8eac91e765e046e1",
      "parameters" : {
        "e5ae426044054a5f8e362b9b5729dbab" : "33d8296203f94760b1e4b7db55edce0d"
      }
    },
    "parameters" : {
      "7e27b28f439e40bea098dd65bc857334" : "ab893cac08bb4374beb8ff00a02e9a73",
      "c698760d6de74d0c92eee65bea283215" : "8ba9a058a5cc4ebaac6f43c9771e167a"
    },
    "skewed_info" : {
      "skewed_column_names" : [ ],
      "skewed_column_value_location_maps" : { },
      "skewed_column_values" : [ ]
    },
    "stored_as_sub_directories" : false
  }
}, {
  "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
  "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
  "table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
  "partition_values" : [ "e4af64d55308403a9abf1999afbbe2be", "079f4cd2ee5b4de6922ef8f0c92c82ae" ],
  "create_time" : "2023-05-30T09:06:41.372+00:00",
  "last_access_time" : "2023-05-30T09:06:41.000+00:00",
  "parameters" : {
    "key1" : "value1",
    "transient_lastDdlTime" : "120",
    "classification" : "other"
  },
  "storage_descriptor" : {
    "columns" : [ {
      "column_type" : "string",
      "column_name" : "column_prefix0",
      "comment" : "b40e5a6b6b3c4a538c4b7daa8bc49300"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix1",
      "comment" : "d7de59704feb4218ad6c3899f16f72e3"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix2",
      "comment" : "215d3961dd0c4858b884e50157da1d4b"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix3",
      "comment" : "b8e4888680ca449492be2344a81aba1d"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix4",
      "comment" : "1ac15b288c354834830062e48b04e3c8"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix5",
      "comment" : "5e65189b3f28434c8b96a56fb19b3005"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix6",
      "comment" : "7944cf9158514a96905712d686bc7c18"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix7",
      "comment" : "c6b9396476e541e9ab34a8eb5fda9953"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix8",
      "comment" : "978fe9b8a1d1437391e83553ae361bfc"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix9",
      "comment" : "4f7ed315c7c44c5683500104464f4776"
    } ],
    "location" : "obs://location/test/database/3971910eb87a41ee9d7096d538232c33",
    "compressed" : false,
    "input_format" : "620befc9b9a447fb95ecfb0d33fb636c",
    "output_format" : "fc943b36eaec4d1da525734e56374d32",
    "number_of_buckets" : 0,
    "bucket_columns" : [ ],
    "sort_columns" : [ ],
    "serde_info" : {
      "name" : "9286f98baef44841883166345635faed",
      "serialization_library" : "ac9cdbe5004d468798bc57b4ed10f602",
      "parameters" : {
        "cef1b8d74bdd43459793b00b4deff6ae" : "e66acd0f816047ae9e00d01a4045c340"
      }
    },
    "parameters" : {
      "0546e622cf2042598ed4f31e0b3b3276" : "be46b5accfdc41ba93f50fbe16b782c2",
      "a5b63ea213ab48be8c3c361fe93f75d2" : "c0f1215c944040cfad2e69fbe7cb4b0b"
    },
    "skewed_info" : {
      "skewed_column_names" : [ ],
      "skewed_column_value_location_maps" : { },
      "skewed_column_values" : [ ]
    },
    "stored_as_sub_directories" : false
  }
}, {
  "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
  "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
  "table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
  "partition_values" : [ "e5ade865888a4bb0a22b71505dd0989d", "788dfdb29db342f488a6155a55875f5b" ],
  "create_time" : "2023-05-30T09:06:41.372+00:00",
  "last_access_time" : "2023-05-30T09:06:41.000+00:00",
  "parameters" : {
    "key1" : "value1",
    "transient_lastDdlTime" : "120",
    "classification" : "other"
  },
  "storage_descriptor" : {
    "columns" : [ {
      "column_type" : "string",
      "column_name" : "column_prefix0",
      "comment" : "a4398b0a8f404ad1a2d8d350efdcd812"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix1",
      "comment" : "c2d17faf55de41ddb9f098a684dd8473"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix2",
      "comment" : "5f2de67835ff49aba7b661712ef059a6"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix3",
      "comment" : "26ce9cc09f3545df80181cbed87d4da2"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix4",
      "comment" : "f5b65b8db66349b3a1f8eace0ea33334"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix5",
      "comment" : "3f9b100dbc2f45d58d6fbcfa63e0d806"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix6",
      "comment" : "22c5f279e9d04cada8bdee6ddbd38af7"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix7",
      "comment" : "7ac1468020094057bf2e1e41f3e035b8"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix8",
      "comment" : "8c8178e2fe694ace80e78d5c985f7165"
    }, {
      "column_type" : "string",
      "column_name" : "column_prefix9",
      "comment" : "3f8d23d533fe44b295067de73a8f1b68"
    } ],
    "location" : "obs://location/test/database/8c351a1aca6b426a936be4453da30c35",
    "compressed" : false,
    "input_format" : "9fb9f9d02b3044febe447a1ad4ca5297",
    "output_format" : "ba8acae75da24d858ebe99f4ef2fce84",
    "number_of_buckets" : 0,
    "bucket_columns" : [ ],
    "sort_columns" : [ ],
    "serde_info" : {
      "name" : "6e4b2479321842d191f1b540b348a4f1",
      "serialization_library" : "22209422df114f589b4ec28d19d86e52",
      "parameters" : {
        "a5c4f39d83d047748dcd1218764c7a1c" : "9e2256acd089474ba469d329d35ace13"
      }
    },
    "parameters" : {
      "997ebfa4c6e343789a92d20f7961c865" : "2a1899624e084fb4b26595469cd23f32",
      "86887611dd7345c88f3de16538cb3587" : "ac4aab973d50429d9803cb418c9d44e1"
    },
    "skewed_info" : {
      "skewed_column_names" : [ ],
      "skewed_column_value_location_maps" : { },
      "skewed_column_values" : [ ]
    },
    "stored_as_sub_directories" : false
  }
} ]

状态码： 400

Bad Request

{
  "error_code" : "common.01000001",
  "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException"
}

状态码： 401

Unauthorized

{
  "error_code": 'APIG.1002',
  "error_msg": 'Incorrect token or token resolution failed'
}

状态码： 403

Forbidden

{
  "error" : {
    "code" : "403",
    "message" : "X-Auth-Token is invalid in the request",
    "error_code" : null,
    "error_msg" : null,
    "title" : "Forbidden"
  },
  "error_code" : "403",
  "error_msg" : "X-Auth-Token is invalid in the request",
  "title" : "Forbidden"
}

状态码： 404

Not Found

{
  "error_code" : "common.01000001",
  "error_msg" : "response status exception, code: 404"
}

状态码： 408

Request Timeout

{
  "error_code" : "common.00000408",
  "error_msg" : "timeout exception occurred"
}

状态码： 500

Internal Server Error

{
  "error_code" : "common.00000500",
  "error_msg" : "internal error"
}

状态码

状态码

描述

200

已删除partition列表

201

Created

400

Bad Request

401

Unauthorized

403

Forbidden

404

Not Found

408

Request Timeout

500

Internal Server Error

错误码

请参见错误码。

父主题： 分区管理