批量添加分区信息
功能介绍
批量添加分区信息。
调试
您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
URI
POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-create
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
project_id |
是 |
String |
项目编号。获取方法,请参见获取项目ID。 |
|
instance_id |
是 |
String |
LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 |
|
catalog_name |
是 |
String |
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 |
|
database_name |
是 |
String |
数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 |
|
table_name |
是 |
String |
表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。 |
请求参数
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
X-Auth-Token |
是 |
Array of strings |
租户token。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
if_not_exist |
是 |
Boolean |
是否跳过已存在的分区。默认为false。 |
|
use_table_column |
否 |
Boolean |
是否使用表的列作为分区中的列。默认为false |
|
partitions |
是 |
Array of PartitionInput objects |
添加的分区信息。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
partition_values |
是 |
Array of strings |
分区值列表。 |
|
create_time |
否 |
String |
创建时间。 |
|
last_access_time |
否 |
String |
最后访问时间。 |
|
parameters |
是 |
Map<String,String> |
参数信息。 |
|
storage_descriptor |
是 |
StorageDescriptor object |
数据存储。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
columns |
是 |
Array of Column objects |
分区列以外的所有字段。 |
|
location |
否 |
String |
路径地址。例如obs://location/uri/。 |
|
compressed |
是 |
Boolean |
是否启用数据压缩。默认为false。 |
|
input_format |
否 |
String |
输入格式。 |
|
output_format |
否 |
String |
输出格式。 |
|
number_of_buckets |
否 |
Integer |
分桶的桶数量。默认值为0。 |
|
bucket_columns |
否 |
Array of strings |
分桶字段。 |
|
sort_columns |
否 |
Array of Order objects |
指定表中的每个存储桶的排序顺序的列表。 |
|
serde_info |
是 |
SerDeInfo object |
序列化/反序列化信息。 |
|
parameters |
是 |
Map<String,String> |
存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000 |
|
skewed_info |
否 |
SkewedInfo object |
有关在列中经常出现的值(偏斜值)的信息。 |
|
stored_as_sub_directories |
否 |
Boolean |
数据是否会存放在子目录中。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
column_type |
是 |
String |
列类型,包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar |
|
column_name |
是 |
String |
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 |
|
comment |
否 |
String |
列描述信息。最大长度为4000个字符。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
column |
否 |
String |
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 |
|
sort_order |
否 |
Integer |
指示是按升序 (== 1) 还是降序 (==0) 对列进行排序。 |
响应参数
状态码:201
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
[数组元素] |
Array of Partition objects |
分区信息。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
catalog_name |
String |
catalog名称。 |
|
catalog_id |
String |
catalogID。 |
|
database_name |
String |
数据库名称。 |
|
database_id |
String |
数据库ID。 |
|
table_name |
String |
表名称。 |
|
table_id |
String |
表ID。 |
|
partition_id |
String |
分区ID。 |
|
partition_values |
Array of strings |
分区值的列表。 |
|
create_time |
String |
创建时间。 |
|
last_access_time |
String |
最后访问时间。 |
|
parameters |
Map<String,String> |
参数表。 |
|
storage_descriptor |
StorageDescriptor object |
数据存储。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
columns |
Array of Column objects |
分区列以外的所有字段。 |
|
location |
String |
路径地址。例如obs://location/uri/。 |
|
compressed |
Boolean |
是否启用数据压缩。默认为false。 |
|
input_format |
String |
输入格式。 |
|
output_format |
String |
输出格式。 |
|
number_of_buckets |
Integer |
分桶的桶数量。默认值为0。 |
|
bucket_columns |
Array of strings |
分桶字段。 |
|
sort_columns |
Array of Order objects |
指定表中的每个存储桶的排序顺序的列表。 |
|
serde_info |
SerDeInfo object |
序列化/反序列化信息。 |
|
parameters |
Map<String,String> |
存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000 |
|
skewed_info |
SkewedInfo object |
有关在列中经常出现的值(偏斜值)的信息。 |
|
stored_as_sub_directories |
Boolean |
数据是否会存放在子目录中。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
column_type |
String |
列类型,包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar |
|
column_name |
String |
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 |
|
comment |
String |
列描述信息。最大长度为4000个字符。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
column |
String |
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 |
|
sort_order |
Integer |
指示是按升序 (== 1) 还是降序 (==0) 对列进行排序。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
name |
String |
名称信息。 |
|
serialization_library |
String |
实现序列化/反序列化的类。 |
|
parameters |
Map<String,String> |
参数数组。 key最小值1,最大值255 value最大值4000 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
skewed_column_names |
Array of strings |
数据偏移列的列表。 |
|
skewed_column_value_location_maps |
Map<String,String> |
偏斜值和地址的映射关系。 |
|
skewed_column_values |
Array<Array<String>> |
偏斜值的列表。 |
状态码:400
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
solution_msg |
String |
解决方案描述。 |
状态码:401
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
solution_msg |
String |
解决方案描述。 |
状态码:403
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error |
Error object |
错误信息。 |
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
title |
String |
标题。 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
title |
String |
标题。 |
|
message |
String |
错误信息。 |
|
code |
String |
状态码。 |
状态码:404
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
solution_msg |
String |
解决方案描述。 |
状态码:408
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
solution_msg |
String |
解决方案描述。 |
状态码:500
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
error_code |
String |
错误码。 |
|
error_msg |
String |
错误描述。 |
|
solution_msg |
String |
解决方案描述。 |
请求示例
POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-create
{
"if_not_exist" : "false",
"partitions" : [ {
"partition_values" : [ "string" ],
"create_time" : "2023-05-26T08:03:42.267Z",
"last_access_time" : "2023-05-26T08:03:42.267Z",
"parameters" : {
"additionalProp1" : "string",
"additionalProp2" : "string",
"additionalProp3" : "string"
},
"storage_descriptor" : {
"columns" : [ {
"column_type" : "string",
"column_name" : "c1",
"comment" : "string"
} ],
"location" : "string",
"compressed" : false,
"input_format" : "string",
"output_format" : "string",
"number_of_buckets" : 0,
"bucket_columns" : [ "string" ],
"sort_columns" : [ {
"column" : "string",
"sort_order" : 1
} ],
"serde_info" : {
"name" : "string",
"serialization_library" : "string",
"parameters" : {
"additionalProp1" : "string",
"additionalProp2" : "string",
"additionalProp3" : "string"
}
},
"parameters" : {
"additionalProp1" : "string",
"additionalProp2" : "string",
"additionalProp3" : "string"
},
"skewed_info" : {
"skewed_column_names" : [ "string" ],
"skewed_column_value_location_maps" : {
"additionalProp1" : "string",
"additionalProp2" : "string",
"additionalProp3" : "string"
},
"skewed_column_values" : [ [ ] ]
},
"stored_as_sub_directories" : false
}
} ]
}
响应示例
状态码:201
新增加的partition列表
[ {
"catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
"database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
"table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
"partition_values" : [ "48e1f86dc4394a218b832d94411805fe", "5a2ab07a663c49a98cc606e6ffa0b178" ],
"create_time" : "2023-05-30T09:06:41.372+00:00",
"last_access_time" : "2023-05-30T09:06:41.000+00:00",
"parameters" : {
"key1" : "value1",
"transient_lastDdlTime" : "120",
"classification" : "other"
},
"storage_descriptor" : {
"columns" : [ {
"column_type" : "string",
"column_name" : "column_prefix0",
"comment" : "83e99b4daff04e75b28263bf44495a3c"
}, {
"column_type" : "string",
"column_name" : "column_prefix1",
"comment" : "d947669d90884014b60264b2770849ae"
}, {
"column_type" : "string",
"column_name" : "column_prefix2",
"comment" : "21edd8e92f2448deb036f8e4682ec694"
}, {
"column_type" : "string",
"column_name" : "column_prefix3",
"comment" : "fc25f38e8b694aebb34a2f84ef4a62f7"
}, {
"column_type" : "string",
"column_name" : "column_prefix4",
"comment" : "3443079e616d447f8f35da2014754701"
}, {
"column_type" : "string",
"column_name" : "column_prefix5",
"comment" : "5f7dda02ac8e4813b3eb4858abb7c520"
}, {
"column_type" : "string",
"column_name" : "column_prefix6",
"comment" : "2a6ae2e5bc3f4add99133106f2cd526c"
}, {
"column_type" : "string",
"column_name" : "column_prefix7",
"comment" : "84d50424269a41fbb5528b350e9d0b13"
}, {
"column_type" : "string",
"column_name" : "column_prefix8",
"comment" : "e3f1d2fa80454554a22e8564ec9c4832"
}, {
"column_type" : "string",
"column_name" : "column_prefix9",
"comment" : "f11315794e6d40daa2cb8347c61e5a46"
} ],
"location" : "obs://location/test/database/b593fc09871e4c9886ed931a3e51f9e5",
"compressed" : false,
"input_format" : "8c470072d43344a3a3bfabd2c7f9d6ec",
"output_format" : "74ee5be43fb548e7b988390df05134fa",
"number_of_buckets" : 0,
"bucket_columns" : [ ],
"sort_columns" : [ ],
"serde_info" : {
"name" : "9b3ea84748854c2d86a71ae37e246293",
"serialization_library" : "e9632ffbbfbe425d8eac91e765e046e1",
"parameters" : {
"e5ae426044054a5f8e362b9b5729dbab" : "33d8296203f94760b1e4b7db55edce0d"
}
},
"parameters" : {
"7e27b28f439e40bea098dd65bc857334" : "ab893cac08bb4374beb8ff00a02e9a73",
"c698760d6de74d0c92eee65bea283215" : "8ba9a058a5cc4ebaac6f43c9771e167a"
},
"skewed_info" : {
"skewed_column_names" : [ ],
"skewed_column_value_location_maps" : { },
"skewed_column_values" : [ ]
},
"stored_as_sub_directories" : false
}
}, {
"catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
"database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
"table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
"partition_values" : [ "e4af64d55308403a9abf1999afbbe2be", "079f4cd2ee5b4de6922ef8f0c92c82ae" ],
"create_time" : "2023-05-30T09:06:41.372+00:00",
"last_access_time" : "2023-05-30T09:06:41.000+00:00",
"parameters" : {
"key1" : "value1",
"transient_lastDdlTime" : "120",
"classification" : "other"
},
"storage_descriptor" : {
"columns" : [ {
"column_type" : "string",
"column_name" : "column_prefix0",
"comment" : "b40e5a6b6b3c4a538c4b7daa8bc49300"
}, {
"column_type" : "string",
"column_name" : "column_prefix1",
"comment" : "d7de59704feb4218ad6c3899f16f72e3"
}, {
"column_type" : "string",
"column_name" : "column_prefix2",
"comment" : "215d3961dd0c4858b884e50157da1d4b"
}, {
"column_type" : "string",
"column_name" : "column_prefix3",
"comment" : "b8e4888680ca449492be2344a81aba1d"
}, {
"column_type" : "string",
"column_name" : "column_prefix4",
"comment" : "1ac15b288c354834830062e48b04e3c8"
}, {
"column_type" : "string",
"column_name" : "column_prefix5",
"comment" : "5e65189b3f28434c8b96a56fb19b3005"
}, {
"column_type" : "string",
"column_name" : "column_prefix6",
"comment" : "7944cf9158514a96905712d686bc7c18"
}, {
"column_type" : "string",
"column_name" : "column_prefix7",
"comment" : "c6b9396476e541e9ab34a8eb5fda9953"
}, {
"column_type" : "string",
"column_name" : "column_prefix8",
"comment" : "978fe9b8a1d1437391e83553ae361bfc"
}, {
"column_type" : "string",
"column_name" : "column_prefix9",
"comment" : "4f7ed315c7c44c5683500104464f4776"
} ],
"location" : "obs://location/test/database/3971910eb87a41ee9d7096d538232c33",
"compressed" : false,
"input_format" : "620befc9b9a447fb95ecfb0d33fb636c",
"output_format" : "fc943b36eaec4d1da525734e56374d32",
"number_of_buckets" : 0,
"bucket_columns" : [ ],
"sort_columns" : [ ],
"serde_info" : {
"name" : "9286f98baef44841883166345635faed",
"serialization_library" : "ac9cdbe5004d468798bc57b4ed10f602",
"parameters" : {
"cef1b8d74bdd43459793b00b4deff6ae" : "e66acd0f816047ae9e00d01a4045c340"
}
},
"parameters" : {
"0546e622cf2042598ed4f31e0b3b3276" : "be46b5accfdc41ba93f50fbe16b782c2",
"a5b63ea213ab48be8c3c361fe93f75d2" : "c0f1215c944040cfad2e69fbe7cb4b0b"
},
"skewed_info" : {
"skewed_column_names" : [ ],
"skewed_column_value_location_maps" : { },
"skewed_column_values" : [ ]
},
"stored_as_sub_directories" : false
}
}, {
"catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c",
"database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16",
"table_name" : "tblbb79f3733c0747adbb94981b412fe48f",
"partition_values" : [ "e5ade865888a4bb0a22b71505dd0989d", "788dfdb29db342f488a6155a55875f5b" ],
"create_time" : "2023-05-30T09:06:41.372+00:00",
"last_access_time" : "2023-05-30T09:06:41.000+00:00",
"parameters" : {
"key1" : "value1",
"transient_lastDdlTime" : "120",
"classification" : "other"
},
"storage_descriptor" : {
"columns" : [ {
"column_type" : "string",
"column_name" : "column_prefix0",
"comment" : "a4398b0a8f404ad1a2d8d350efdcd812"
}, {
"column_type" : "string",
"column_name" : "column_prefix1",
"comment" : "c2d17faf55de41ddb9f098a684dd8473"
}, {
"column_type" : "string",
"column_name" : "column_prefix2",
"comment" : "5f2de67835ff49aba7b661712ef059a6"
}, {
"column_type" : "string",
"column_name" : "column_prefix3",
"comment" : "26ce9cc09f3545df80181cbed87d4da2"
}, {
"column_type" : "string",
"column_name" : "column_prefix4",
"comment" : "f5b65b8db66349b3a1f8eace0ea33334"
}, {
"column_type" : "string",
"column_name" : "column_prefix5",
"comment" : "3f9b100dbc2f45d58d6fbcfa63e0d806"
}, {
"column_type" : "string",
"column_name" : "column_prefix6",
"comment" : "22c5f279e9d04cada8bdee6ddbd38af7"
}, {
"column_type" : "string",
"column_name" : "column_prefix7",
"comment" : "7ac1468020094057bf2e1e41f3e035b8"
}, {
"column_type" : "string",
"column_name" : "column_prefix8",
"comment" : "8c8178e2fe694ace80e78d5c985f7165"
}, {
"column_type" : "string",
"column_name" : "column_prefix9",
"comment" : "3f8d23d533fe44b295067de73a8f1b68"
} ],
"location" : "obs://location/test/database/8c351a1aca6b426a936be4453da30c35",
"compressed" : false,
"input_format" : "9fb9f9d02b3044febe447a1ad4ca5297",
"output_format" : "ba8acae75da24d858ebe99f4ef2fce84",
"number_of_buckets" : 0,
"bucket_columns" : [ ],
"sort_columns" : [ ],
"serde_info" : {
"name" : "6e4b2479321842d191f1b540b348a4f1",
"serialization_library" : "22209422df114f589b4ec28d19d86e52",
"parameters" : {
"a5c4f39d83d047748dcd1218764c7a1c" : "9e2256acd089474ba469d329d35ace13"
}
},
"parameters" : {
"997ebfa4c6e343789a92d20f7961c865" : "2a1899624e084fb4b26595469cd23f32",
"86887611dd7345c88f3de16538cb3587" : "ac4aab973d50429d9803cb418c9d44e1"
},
"skewed_info" : {
"skewed_column_names" : [ ],
"skewed_column_value_location_maps" : { },
"skewed_column_values" : [ ]
},
"stored_as_sub_directories" : false
}
} ]
状态码:400
Bad Request
{
"error_code" : "common.01000001",
"error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException"
}
状态码:401
Unauthorized
{
"error_code": 'APIG.1002',
"error_msg": 'Incorrect token or token resolution failed'
}
状态码:403
Forbidden
{
"error" : {
"code" : "403",
"message" : "X-Auth-Token is invalid in the request",
"error_code" : null,
"error_msg" : null,
"title" : "Forbidden"
},
"error_code" : "403",
"error_msg" : "X-Auth-Token is invalid in the request",
"title" : "Forbidden"
}
状态码:404
Not Found
{
"error_code" : "common.01000001",
"error_msg" : "response status exception, code: 404"
}
状态码:408
Request Timeout
{
"error_code" : "common.00000408",
"error_msg" : "timeout exception occurred"
}
状态码:500
Internal Server Error
{
"error_code" : "common.00000500",
"error_msg" : "internal error"
}
状态码
|
状态码 |
描述 |
|---|---|
|
201 |
新增加的partition列表 |
|
400 |
Bad Request |
|
401 |
Unauthorized |
|
403 |
Forbidden |
|
404 |
Not Found |
|
408 |
Request Timeout |
|
500 |
Internal Server Error |
错误码
请参见错误码。