批量删除对象(Java SDK)
功能说明
为节省空间和成本,您可以根据需要删除指定桶中的多个对象。
批量删除对象特性用于将一个桶内的部分对象一次性删除,删除后不可恢复。批量删除对象要求返回结果里包含每个对象的删除结果。OBS的批量删除对象使用同步删除对象的方式,每个对象的删除结果返回给请求用户。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
接口约束
- 您必须是桶拥有者或拥有批量删除对象的权限,才能批量删除对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:DeleteObject权限,如果使用桶策略则需授予DeleteObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
- OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。
- 桶没有开启多版本控制功能时,已删除的对象不可恢复,请谨慎操作。
- 批量删除对象一次能接收最大对象数目为1000个,如果超出限制,服务端会返回请求不合法。
- 并发任务分配后,在循环删除多个对象过程中, 如果发生内部错误, 有可能出现数据不一致的情况(某个对象索引数据删除但还有元数据)。
方法定义
obsClient.deleteObjects(DeleteObjectsRequest deleteRequest)
请求参数说明
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
String |
必选 |
参数解释: 桶名。 约束限制:
默认取值: 无 |
keyAndVersions |
List<KeyAndVersion> |
必选 |
参数解释: 待删除的对象列表,详情参考KeyAndVersion。 |
quiet |
boolean |
可选 |
参数解释: 批量删除对象的响应方式。 取值范围:
默认取值: false |
encodingType |
String |
可选 |
参数解释: 用于指定对响应中的对象名objectKey进行指定类型的编码。如果objectKey包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的objectKey进行编码。 取值范围: 可选值为url。 默认取值: 无,不设置则不编码。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
key |
String |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
versionId |
String |
可选 |
参数解释: 对象的版本号,用于删除指定版本号的对象。 取值范围: 长度为32的字符串。 默认取值: 无,如果不设置则默认删除最新版本的对象。 |
返回结果说明
参数名称 |
参数类型 |
描述 |
---|---|---|
statusCode |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
responseHeaders |
Map<String, Object> |
参数解释: 响应消息头列表,由多个元组构成。元组中String代表响应消息头的名称,Object代表响应消息头的值。 默认取值: 无 |
deletedObjectResults |
List<DeleteObjectResult> |
参数解释: 删除对象后的响应结果,详见DeleteObjectResult。 |
errorResults |
List<ErrorResult> |
参数解释: 删除失败的对象列表,详见ErrorResult。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
statusCode |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
responseHeaders |
Map<String, Object> |
参数解释: 响应消息头列表,由多个元组构成。元组中String代表响应消息头的名称,Object代表响应消息头的值。 默认取值: 无 |
versionId |
String |
参数解释: 对象的版本号。 取值范围: 长度为32的字符串。 默认取值: 无 |
deleteMarker |
boolean |
参数解释: 标识删除的对象是否是删除标记。 取值范围:
默认取值: false |
objectKey |
String |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
参数名称 |
参数类型 |
描述 |
---|---|---|
versionId |
String |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
errorCode |
String |
参数解释: 删除失败的错误码。可参考OBS错误码。 |
objectKey |
String |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
message |
String |
参数解释: 删除失败的错误原因。可参考OBS错误码。 |
代码示例
以下代码展示了如何进行批量删除example-bucket桶下的所有对象名以exampleObjectPrefix开头的对象,即“删除指定前缀或目录下的所有对象”,请注意当示例中的exampleObjectPrefix变量内容设置为空时会导致删除桶内所有对象!
import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.DeleteObjectsRequest; import com.obs.services.model.DeleteObjectsResult; import com.obs.services.model.ListVersionsRequest; import com.obs.services.model.ListVersionsResult; import com.obs.services.model.VersionOrDeleteMarker; import java.util.Map; public class DeleteObjects002 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。 // String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例, 建议使用单例模式的client // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { String exampleBucket = "example-bucket"; String exampleObjectPrefix = "exampleObjectPrefix"; // 批量删除对象 ListVersionsRequest request = new ListVersionsRequest(exampleBucket); // 每次批量删除100个对象 request.setMaxKeys(100); request.setPrefix(exampleObjectPrefix); ListVersionsResult result; do { result = obsClient.listVersions(request); DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest(exampleBucket); // deleteRequest.setQuiet(true); // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码 for (VersionOrDeleteMarker v : result.getVersions()) { // 获取对象和版本号 deleteRequest.addKeyAndVersion(v.getKey(), v.getVersionId()); } if(deleteRequest.getKeyAndVersions().length > 0){ DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest); // 获取删除成功的对象 System.out.println("DeletedObjectResults:"+ deleteResult.getDeletedObjectResults()); // 获取删除失败的对象 System.out.println("ErrorResults:"+ deleteResult.getErrorResults()); }else{ System.out.println("No object to delete"); } request.setKeyMarker(result.getNextKeyMarker()); // 如果没有开启多版本对象,就不需要设置VersionIdMarker request.setVersionIdMarker(result.getNextVersionIdMarker()); } while (result.isTruncated()); System.out.println("deleteObjects successfully"); } catch (ObsException e) { System.out.println("deleteObjects failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); Map<String, String> headers = e.getResponseHeaders();// 遍历Map的entry,打印所有报错相关头域 if(headers != null){ for (Map.Entry<String, String> header : headers.entrySet()) { if(header.getKey().contains("error")){ System.out.println(header.getKey()+":"+header.getValue()); } } } e.printStackTrace(); } catch (Exception e) { System.out.println("deleteObjects failed"); // 其他异常信息打印 e.printStackTrace(); } } }
以下代码展示了如何进行批量删除examplebucket桶下的所有对象,请谨慎使用!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 |
import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.DeleteObjectsRequest; import com.obs.services.model.DeleteObjectsResult; import com.obs.services.model.ListVersionsRequest; import com.obs.services.model.ListVersionsResult; import com.obs.services.model.VersionOrDeleteMarker; public class DeleteObjects001 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。 //String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例 // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { // 批量删除对象 ListVersionsRequest request = new ListVersionsRequest("examplebucket"); // 每次批量删除100个对象 request.setMaxKeys(100); ListVersionsResult result; do { result = obsClient.listVersions(request); DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest("examplebucket"); // deleteRequest.setQuiet(true); // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码 for (VersionOrDeleteMarker v : result.getVersions()) { // 获取对象和版本号 deleteRequest.addKeyAndVersion(v.getKey(), v.getVersionId()); } if(deleteRequest.getKeyAndVersions().length > 0){ DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest); // 获取删除成功的对象 System.out.println("DeletedObjectResults:"+ deleteResult.getDeletedObjectResults()); // 获取删除失败的对象 System.out.println("ErrorResults:"+ deleteResult.getErrorResults()); }else{ System.out.println("No object to delete"); } request.setKeyMarker(result.getNextKeyMarker()); // 如果没有开启多版本对象,就不需要设置VersionIdMarker request.setVersionIdMarker(result.getNextVersionIdMarker()); } while (result.isTruncated()); System.out.println("deleteObjects successfully"); } catch (ObsException e) { System.out.println("deleteObjects failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); e.printStackTrace(); } catch (Exception e) { System.out.println("deleteObjects failed"); // 其他异常信息打印 e.printStackTrace(); } } } |
以下代码展示了批量删除未开启多版本桶examplebucket中的文件夹test下的所有对象。
import com.obs.services.ObsClient; import com.obs.services.ObsConfiguration; import com.obs.services.exception.ObsException; import com.obs.services.model.*; import java.io.IOException; import java.util.Map; public class Delete_Objects_test { public static void main(String[] args) throws IOException { // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。 // String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例, 建议使用单例模式的client // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { String exampleBucket = "examplebucket"; String exampleObjectPrefix = "test/"; ListObjectsRequest listObjectsRequest = new ListObjectsRequest(exampleBucket); listObjectsRequest.setMaxKeys(100); listObjectsRequest.setPrefix(exampleObjectPrefix); ObjectListing objectListing; do { objectListing = obsClient.listObjects(listObjectsRequest); DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest(exampleBucket); // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码 deleteRequest.setQuiet(true); for (ObsObject object : objectListing.getObjects()) { deleteRequest.addKeyAndVersion(object.getObjectKey(), null); } if (deleteRequest.getKeyAndVersions().length > 0) { DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest); // 获取删除成功的对象 System.out.println("DeletedObjectResults:" + deleteResult.getDeletedObjectResults()); // 获取删除失败的对象 System.out.println("ErrorResults:" + deleteResult.getErrorResults()); } else { System.out.println("No object to delete"); } listObjectsRequest.setMarker(objectListing.getNextMarker()); } while (objectListing.isTruncated()); System.out.println("deleteObjects successfully"); } catch (ObsException e) { System.out.println("deleteObjects failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); Map<String, String> headers = e.getResponseHeaders(); // 遍历Map的entry,打印所有报错相关头域 if (headers != null) { for (Map.Entry<String, String> header : headers.entrySet()) { if (header.getKey().contains("error")) { System.out.println(header.getKey() + ":" + header.getValue()); } } } e.printStackTrace(); } catch (Exception e) { System.out.println("deleteObjects failed"); // 其他异常信息打印 e.printStackTrace(); } } }