# 分段上传-清理碎片(Go SDK) #### 功能说明 清理碎片是指删除未完成的多段上传任务产生的分片数据。当多段上传任务中断或失败时，会在桶中遗留未合并的分片数据，占用存储空间和产生费用。通过清理碎片功能可以删除这些无用的分片数据。 OBS SDK提供以下清理碎片的方式： 1. **单次清理**：通过AbortMultipartUpload接口清理单个未完成的上传任务。 2. **批量清理**：通过ListMultipartUploads接口列出所有未完成的上传任务，然后批量清理。 #### 接口约束 - 您必须是桶拥有者或拥有取消分段上传任务的权限，才能取消分段上传任务。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:AbortMultipartUpload权限，如果使用桶策略则需授予AbortMultipartUpload权限。相关授权方式介绍可参见[OBS权限控制概述](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0001.html)，配置方式详见[使用IAM自定义策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0121.html)、[配置对象策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0075.html)。 - OBS支持的Region与Endpoint的对应关系，详细信息请参见[地区与终端节点](https://developer.huaweicloud.com/endpoint?OBS)。 - 清理碎片会永久删除数据，无法恢复，请谨慎操作。 - 多段上传任务清理后，已上传的分片数据会被删除。 #### 方法定义-单次清理碎片 **func** (obsClient ObsClient) AbortMultipartUpload(input \*[AbortMultipartUploadInput], extensions...extensionOptions) (output \*[BaseModel], err error) #### 方法定义-列举多段上传任务 **func** (obsClient ObsClient) ListMultipartUploads(input \*[ListMultipartUploadsInput], extensions...extensionOptions) (output \*[ListMultipartUploadsOutput], err error) #### 请求参数说明 表1请求参数列表-单次清理碎片 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | input | \*[AbortMultipartUploadInput] | 必选 | **参数解释：** 取消分段上传任务请求参数。详情参见[AbortMultipartUploadInput]。 | | extensions | [extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html) | 可选 | **参数解释：** 拓展配置项。通过调用拓展配置项为对应请求配置额外的拓展请求头，详情参见[extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html)。 | 表2AbortMultipartUploadInput | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Bucket | string | 必选 | **参数解释** **：** 桶名。 **约束限制：** - 桶命名规则如下： - 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。 - 长度范围为3到63个字符，仅支持小写字母、数字、中划线（-）、英文句号（.）。 - 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 - 禁止使用IP地址。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | Key | string | 必选 | **参数解释：** 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | UploadId | string | 必选 | **参数解释：** 分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | 表3请求参数列表-批量列举 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | input | \*[ListMultipartUploadsInput] | 必选 | **参数解释：** 列举分段上传任务请求参数，详见[ListMultipartUploadsInput]。 | | extensions | [extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html) | 可选 | **参数解释：** 拓展配置项，详见[extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html)。 | 表4ListMultipartUploadsInput | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Bucket | string | 必选 | **参数解释** **：** 桶名。 **约束限制：** - 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 - 桶命名规则如下： - 3～63个字符，数字或字母开头，支持小写字母、数字、"-"、"."。 - 禁止使用IP地址。 - 禁止以"-"或"."开头及结尾。 - 禁止两个"."相邻（如："my..bucket"）。 - 禁止"."和"-"相邻（如："my-.bucket"和"my.-bucket"）。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | Prefix | string | 可选 | **参数解释：** 限定返回的分段上传任务中的对象名必须带有prefix前缀。 例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象所在的分段上传任务。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有分段上传任务。 **约束限制：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | MaxUploads | int | 可选 | **参数解释：** 列举分段上传任务的最大数目。 **约束限制：** 当该参数超出1000时，按照默认的1000进行处理。 **取值范围：** 1\~1000，单位：个。 **默认取值：** 1000 | | Delimiter | string | 可选 | **参数解释：** 对分段上传任务中的对象名进行分组的字符。通常与前缀prefix搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。 例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | KeyMarker | string | 可选 | **参数解释：** 列举分段上传任务的起始位置。表示列举时返回指定的KeyMarker之后的分段上传任务。 **取值范围：** 上次请求返回体的NextKeyMarker值。 **默认取值：** 无 | | UploadIdMarker | string | 可选 | **参数解释：** 列举分段上传任务的起始位置（uploadId标识）。 **约束限制：** 只有与KeyMarker参数一起使用时才有意义，即列举时返回指定KeyMarker的UploadIdMarker之后的分段上传任务。 **取值范围：** 对象的分段上传任务ID，即上次请求返回体的NextUploadIdMarker值。 **默认取值：** 无 | | EncodingType | string | 可选 | **参数解释：** 用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。 **取值范围：** 可选值为url。 **默认取值：** 无，不设置则不编码。 | #### 返回结果说明 表5单次清理返回结果 | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | output | \*[BaseModel] | **参数解释：** 接口返回信息。详情参见[BaseModel]。 | | err | error | **参数解释：** 接口返回错误信息。 | 表6BaseModel | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | StatusCode | int | **参数解释：** HTTP状态码。 **约束限制：** 无 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 **默认取值：** 无 | | RequestId | string | **参数解释：** OBS服务端返回的请求ID。 **约束限制：** 无 **取值范围：** 无 **默认取值：** 无 | | ResponseHeaders | map\[string\]\[\]string | **参数解释：** HTTP响应头信息。 **约束限制：** 无 **取值范围：** 无 **默认取值：** 无 | 表7批量清理返回结果 | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | output | \*[ListMultipartUploadsOutput](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table14455523) | **参数解释：** 接口返回信息，详见[ListMultipartUploadsOutput](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table14455523)。 | | err | error | **参数解释：** 接口返回错误信息。 | 表8ListMultipartUploadsOutput | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | StatusCode | int | **参数解释：** HTTP状态码。 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 **默认取值：** 无 | | RequestId | string | **参数解释：** OBS服务端返回的请求ID。 **默认取值：** 无 | | ResponseHeaders | map\[string\]\[\]string | **参数解释：** HTTP响应头信息。 **默认取值：** 无 | | Bucket | string | **参数解释** **：** 桶名。 **约束限制：** - 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 - 桶命名规则如下： - 3～63个字符，数字或字母开头，支持小写字母、数字、"-"、"."。 - 禁止使用IP地址。 - 禁止以"-"或"."开头及结尾。 - 禁止两个"."相邻（如："my..bucket"）。 - 禁止"."和"-"相邻（如："my-.bucket"和"my.-bucket"）。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **取值范围：** 长度为3～63个字符。 | | KeyMarker | string | **参数解释：** 列举分段上传任务的起始位置，与请求中的该参数对应。表示列举时返回指定的KeyMarker之后的分段上传任务。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | UploadIdMarker | string | **参数解释：** 列举分段上传任务的起始位置（uploadId标识），与请求中的该参数对应。 **取值范围：** 长度大于0且不超过32的字符串。 **默认取值：** 无 | | NextKeyMarker | string | **参数解释：** 下次列举分段上传任务请求的起始位置。如果本次没有返回全部结果，响应请求中将包含该元素，用于标明接下来请求的KeyMarker值。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | NextUploadIdMarker | string | **参数解释：** 下次列举分段上传任务请求的起始位置（uploadId标识）。与NextKeyMarker配合使用。如果本次没有返回全部结果，响应请求中将包含该元素，用于标明接下来请求的UploadIdMarker值。 **取值范围：** 长度大于0且不超过32的字符串。 **默认取值：** 无 | | MaxUploads | int | **参数解释：** 列举分段上传任务的最大数目，与请求中的该参数对应。 **约束限制：** 当该参数超出范围时，按照默认的1000进行处理。 **取值范围：** 1\~1000，单位：个。 **默认取值：** 1000 | | IsTruncated | bool | **参数解释：** 表明本次请求是否返回了全部结果。 **取值范围：** - true：表示没有返回全部结果。 - false：表示已返回了全部结果。 **默认取值：** 无 | | Prefix | string | **参数解释：** 分段上传任务中的对象名前缀，与请求中的该参数对应。限定返回的分段上传任务中的对象名必须带有prefix前缀。 例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象所在的分段上传任务。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有分段上传任务。 **约束限制：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | Delimiter | string | **参数解释：** 用于对分段上传任务中的对象名进行分组的字符，与请求中的该参数对应。通常与前缀prefix搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。 例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | Uploads | \[\][Upload](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table7701516192919) | **参数解释：** 桶内分段上传任务列表，详见[Upload](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table7701516192919)。 | | CommonPrefixes | \[\]string | **参数解释：** 当请求中设置了Delimiter分组字符时，返回按Delimiter分组后的对象名称前缀列表。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | EncodingType | string | **参数解释：** 用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。 **取值范围：** 可选值为url。 **默认取值：** 无，不设置则不编码。 | 表9Upload | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | Key | string | **参数解释：** 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | UploadId | string | **参数解释：** 分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8 **取值范围：** 长度大于0且不超过32的字符串。 **默认取值：** 无 | | Initiator | [Initiator](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table199301749162914) | **参数解释：** 分段上传任务的创建者，详见[Initiator](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table199301749162914)。 | | Owner | [Owner](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table12389163310301) | **参数解释：** 分段上传的对象的所有者账号户ID，详见[Owner](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table12389163310301)。 | | StorageClass | [StorageClassType](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table12464114143120) | **参数解释：** 分段上传的对象的存储类型。 **取值范围：** 存储类型取值范围参见[StorageClassType](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0408.html#obs_33_0408__table12464114143120)。 **默认取值：** 无 | | Initiated | time.Time | **参数解释：** 分段上传任务的初始化时间。 **约束限制：** 日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z。 代码示例：*time.Now().Add(time.Duration(24) \* time.Hour)*。 **默认取值：** 无 | 表10Initiator | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | ID | string | 作为请求参数时必选 | **参数解释：** 创建者的账号ID，即domain_id。 **取值范围：** 如何获取账号ID请参见[如何获取账号ID和用户ID？](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_1712.html) **默认取值：** 无 | | DisplayName | string | 可选 | **参数解释：** 创建者账号名。 **约束限制：** 账号名不支持中文，只能包含英文字母、数字或特殊字符"-_"，且须以字母开头，账号名长度支持6\~32个字符。 **默认取值：** 无 | 表11Owner | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | ID | string | 作为请求参数时必选 | **参数解释：** 所有者的账号ID，即domain_id。 **取值范围：** 如何获取账号ID请参见[如何获取账号ID和用户ID？](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_1712.html) | 表12StorageClassType | **常量名** | **原始值** | **说明** | |:---|:---|:---| | StorageClassStandard | STANDARD | 标准存储。 标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（\<1MB），且需要频繁访问数据的业务场景。 | | StorageClassWarm | WARM | 低频访问存储。 低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。 | | StorageClassCold | COLD | 归档存储。 归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 | | StorageClassDeepArchive | DEEP_ARCHIVE | 深度归档存储 适用于长期不访问（平均几年访问一次）数据的业务场景。 | #### 单次清理碎片示例 本示例用于取消指定桶 examplebucket 中的分段上传任务，并且对象名是example/objectname，上传任务ID是 0000000xxxxxxxx。 ``` package main import ( "fmt" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" "os" ) func main() { // 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint /*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.AbortMultipartUploadInput{} // 指定存储桶名称 input.Bucket = "examplebucket" // 指定上传对象名，此处以 example/objectname 为例 input.Key = "example/objectname" // 指定多段上传任务号，此处以00000188677110424014075CC4A77xxx为例 input.UploadId = "00000188677110424014075CC4A77xxx" // 取消分段上传任务 output, err := obsClient.AbortMultipartUpload(input) if err == nil { fmt.Printf("Abort multipart upload successful!\n") fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Abort multipart upload fail!\n") if obsError, ok := err.(obs.ObsError); ok { fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.") fmt.Println(obsError.Error()) } else { fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.") fmt.Println(err) } } ``` #### 批量清理碎片示例 本示例用于取消指定桶 examplebucket 中的所有的分段上传任务。 ``` package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" "sync" ) type CleanupResult struct { SuccessCount int FailedCount int Errors []error mutex sync.Mutex } func (r *CleanupResult) addSuccess() { r.mutex.Lock() defer r.mutex.Unlock() r.SuccessCount++ } func (r *CleanupResult) addError(err error) { r.mutex.Lock() defer r.mutex.Unlock() r.FailedCount++ r.Errors = append(r.Errors, err) } func main() { // 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK。 // endpoint填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint /*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } // 指定存储桶名称 bucket := "examplebucket" var result CleanupResult // 分页列举所有未完成的多段上传任务 marker := "" for { listInput := &obs.ListMultipartUploadsInput{} listInput.Bucket = bucket listInput.Prefix = "" listInput.MaxUploads = 1000 if marker != "" { listInput.KeyMarker = marker } output, err := obsClient.ListMultipartUploads(listInput) if err != nil { fmt.Printf("List multipart uploads failed: %v\n", err) return } // 并发清理每个上传任务 if len(output.Uploads) > 0 { var wg sync.WaitGroup for _, upload := range output.Uploads { wg.Add(1) go func(u obs.Upload) { defer wg.Done() input := &obs.AbortMultipartUploadInput{} input.Bucket = bucket input.Key = u.Key input.UploadId = u.UploadId _, abortErr := obsClient.AbortMultipartUpload(input) if abortErr != nil { fmt.Printf("Failed to cleanup %s (UploadId: %s): %v\n", u.Key, u.UploadId, abortErr) result.addError(abortErr) } else { fmt.Printf("Cleaned up upload: %s (UploadId: %s)\n", u.Key, u.UploadId) result.addSuccess() } }(upload) } wg.Wait() } // 检查是否还有更多数据 if !output.IsTruncated { break } marker = output.NextKeyMarker } fmt.Printf("\nCleanup completed for bucket: %s\n", bucket) fmt.Printf(" Total cleaned up: %d\n", result.SuccessCount) fmt.Printf(" Failed: %d\n", result.FailedCount) if result.FailedCount > 0 { fmt.Printf("\nFailed uploads:\n") for i, err := range result.Errors { fmt.Printf(" %d. %v\n", i+1, err) } } } ``` #### 相关链接 - 关于分段上传-取消分段上传任务的API说明，请参见[取消多段上传任务](https://support.huaweicloud.com/api-obs/obs_04_0103.html)。 - 关于分段上传-列举分段上传任务的API说明，请参见[列举桶中已初始化多段任务](https://support.huaweicloud.com/api-obs/obs_04_0097.html)。 - 分段上传过程中返回的错误码含义、问题原因及处理措施可参考[OBS错误码](https://support.huaweicloud.com/api-obs/obs_04_0115.html#section1)。