更新时间:2024-12-02 GMT+08:00

列举桶内对象(Python SDK)

功能介绍

调用列举桶内对象接口,可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。

接口约束

  • 每次接口调用最多返回1000个对象信息。
  • 您必须是桶拥有者或拥有列举桶内对象的权限,才能列举桶内对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:ListBucket权限,如果使用桶策略则需授予ListBucket权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略自定义创建桶策略
  • OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点

方法定义

ObsClient.listObjects(bucketName, prefix, marker, max_keys, delimiter, extensionHeaders)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

bucketName

str

必选

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

prefix

str

可选

参数解释:

列举桶内对象列表时,指定一个前缀,限定返回的对象名必须带有prefix前缀。

例如,您拥有以下对象:logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀,将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件,将返回桶中的所有对象。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

marker

str

可选

参数解释:

列举桶内对象列表时,指定一个标识符,作为列举时的起始位置,从该标识符以后按对象名的字典顺序返回对象列表。

例如,您拥有以下对象:test/a、test/b、test/c、test/d。如果您将test/b指定为标识符,将返回test/c、test/d两个对象。

约束限制:

仅用于非多版本列举。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

max_keys

int

可选

参数解释:

列举对象的最大数目,返回的对象列表将是按照字典顺序的最多前max_keys个对象。

取值范围:

1~1000,当超出范围时,按照默认的1000进行处理。

默认取值:

1000

delimiter

str

可选

参数解释:

将对象名进行分组的分隔符。如果指定了prefix,从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix;如果没有指定prefix,从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix。

例如,桶中有3个对象,分别为abcd、abcde、bbcde。如果指定delimiter为d,prefix为a,abcd、abcde会被分成一组,形成一条前缀为abcd的CommonPrefix;如果只指定delimiter为d,abcd、abcde会被分成一组,形成一条前缀为abcd的CommonPrefix,而bbcde会被单独分成一组,形成一条前缀为bbcd的CommonPrefix。

对于并行文件系统,不携带此参数时默认列举是递归列举此目录下所有内容,会列举子目录。在大数据场景下(目录层级深、目录下文件多)的列举,建议设置[delimiter=/],只列举当前目录下的内容,不列举子目录,提高列举效率。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

extensionHeaders

dict

可选

参数解释:

接口的拓展头域。

取值范围:

参考自定义头域

默认取值:

encoding_type

str

可选

参数解释:

对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符,可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix(包括 commonPrefixes 中的 Prefix)、nextKeyMarker 和 key 进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

返回结果说明

表2 返回结果

类型

说明

GetResult

参数解释:

SDK公共结果对象。

表3 GetResult

参数名称

参数类型

描述

status

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

reason

str

参数解释:

HTTP文本描述。

默认取值:

errorCode

str

参数解释:

OBS服务端错误码,当status参数小于300时为空。

默认取值:

errorMessage

str

参数解释:

OBS服务端错误描述,当status参数小于300时为空。

默认取值:

requestId

str

参数解释:

OBS服务端返回的请求ID。

默认取值:

indicator

str

参数解释:

OBS服务端返回的错误定位码。

默认取值:

hostId

str

参数解释:

请求的服务端ID,当status参数小于300时为空。

默认取值:

resource

str

参数解释:

发生错误时相关的桶或对象,当status参数小于300时为空。

默认取值:

header

list

参数解释:

响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。

默认取值:

body

object

参数解释:

操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。

默认取值:

表4 GetResult.body

GetResult.body类型

说明

ListObjectsResponse

参数解释:

列举桶内对象响应结果,参考ListObjectsResponse

表5 ListObjectsResponse

参数名称

参数类型

描述

name

str

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

location

str

参数解释

桶所在的区域。

约束限制:

该参数定义了桶将会被创建在哪个区域,如果使用的终端节点是obs.myhuaweicloud.com,可以不携带此参数;如果使用的终端节点不是obs.myhuaweicloud.com,则必须携带此参数。

取值范围:

当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以向企业管理员获取区域和终端节点信息。

默认取值:

终端节点为obs.myhuaweicloud.com且用户未设定区域时,默认为华北-北京一(cn-north-1)。

prefix

str

参数解释:

列举桶内对象列表时,指定一个前缀,限定返回的对象名必须带有prefix前缀。

例如,您拥有以下对象:logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀,将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件,将返回桶中的所有对象。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

marker

str

参数解释:

列举桶内对象列表时,指定一个标识符,作为列举时的起始位置,从该标识符以后按对象名的字典顺序返回对象列表。

例如,您拥有以下对象:test/a、test/b、test/c、test/d。如果您将test/b指定为标识符,将返回test/c、test/d两个对象。

约束限制:

仅用于非多版本列举。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

delimiter

str

参数解释:

将对象名进行分组的分隔符。如果指定了prefix,从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix;如果没有指定prefix,从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix。

例如,桶中有3个对象,分别为abcd、abcde、bbcde。如果指定delimiter为d,prefix为a,abcd、abcde会被分成一组,形成一条前缀为abcd的commonPrefix;如果只指定delimiter为d,abcd、abcde会被分成一组,形成一条前缀为abcd的commonPrefix,而bbcde会被单独分成一组,形成一条前缀为bbcd的commonPrefix。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

max_keys

int

参数解释:

列举对象的最大数目,返回的对象列表将是按照字典顺序的最多前max_keys个对象。

取值范围:

1~1000,当超出范围时,按照默认的1000进行处理。

默认取值:

1000

is_truncated

bool

参数解释:

表明本次请求是否返回了全部结果。

取值范围:

  • True表示没有返回全部结果。
  • False表示已返回了全部结果。

默认取值:

next_marker

str

参数解释:

下次列举对象请求的起始位置。

取值范围:

字符串,下一次请求起始位置的对象名

默认取值:

contents

list of Content

参数解释:

桶内对象列表。

取值范围:

参考Content

commonPrefixs

list of CommonPrefix

参数解释:

当请求中设置了delimiter分组字符时,返回按delimiter分组后的对象名称前缀列表。

取值范围:

参考CommonPrefix

encoding_type

str

参数解释:

对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符,可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix(包括 commonPrefixes 中的 Prefix)、nextKeyMarker 和 key 进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

表6 Content

参数名称

参数类型

描述

key

str

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

lastModified

str

参数解释:

对象的最近一次修改时间。

约束限制:

日期格式为ISO8601的格式。

例如:2018-01-01T00:00:00.000Z,表示最后一次修改时间为2018-01-01T00:00:00.000Z。

默认取值:

etag

str

参数解释:

对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。

约束限制:

当对象是服务端加密的对象时,ETag值不是对象的MD5值。

取值范围:

长度为32的字符串。

默认取值:

size

int

参数解释:

对象数据的长度。

取值范围:

0~48.8TB,单位:字节。

默认取值:

owner

Owner

参数解释:

对象的所有者。

取值范围:

参考Owner

storageClass

str

参数解释:

对象的存储类型。

取值范围:

  • 当对象存储类型是标准存储时,该值为空。
  • 可选择的存储类型参见存储类型

默认取值:

isAppendable

bool

参数解释:

对象是否可被追加上传。

取值范围:

True:可以追加。

False:不可追加。

默认取值:

表7 Owner

参数名称

参数类型

是否必选

描述

owner_id

str

作为请求参数时必选

参数解释:

所有者的账号ID,即domain_id。

取值范围:

如何获取账号ID请参见如何获取账号ID和用户ID?

默认取值:

owner_name

str

作为请求参数时可选

参数解释:

所有者的账号用户名。

取值范围:

如何获取账号用户名请参见如何获取用户名?

默认取值:

表8 CommonPrefix

参数名称

参数类型

描述

prefix

str

参数解释:

当请求中设置了delimiter分组字符时,返回按delimiter分组后的对象名称前缀列表。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

表9 StorageClass

参数名称

参数类型

描述

STANDARD

标准存储

参数解释:

标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。

WARM

低频访问存储

参数解释:

低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。

COLD

归档存储

参数解释:

归档存储适用于很少访问(平均一年访问一次)数据的业务场景。

代码样例

OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以“/”结尾的对象,将这个文件夹对象名作为前缀,即可模拟列举文件夹中对象的功能。本示例用于列举桶内对象,桶名为examplebucket,前缀为test/的对象,且指定返回对象的数量为100个。
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
from obs import ObsClient
import os
import traceback

# 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取
# security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以中国-香港为例,其他地区请按实际情况填写
server = "https://obs.ap-southeast-1.myhuaweicloud.com" 
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)
try:
    bucketName = "examplebucket"
    # 指定列举对象的前缀
    prefix = 'test/'
    # 指定单次列举对象个数为100
    max_keys = 100
    # 列举桶内对象
    resp = obsClient.listObjects(bucketName, prefix, max_keys=max_keys, encoding_type='url')

    # 返回码为2xx时,接口调用成功,否则接口调用失败
    if resp.status < 300:
        print('List Objects Succeeded')
        print('requestId:', resp.requestId)
        print('name:', resp.body.name)
        print('prefix:', resp.body.prefix)
        print('max_keys:', resp.body.max_keys)
        print('is_truncated:', resp.body.is_truncated)
        index = 1
        for content in resp.body.contents:
            print('object [' + str(index) + ']')
            print('key:', content.key)
            print('lastModified:', content.lastModified)
            print('etag:', content.etag)
            print('size:', content.size)
            print('storageClass:', content.storageClass)
            print('owner_id:', content.owner.owner_id)
            print('owner_name:', content.owner.owner_name)
            index += 1
    else:
        print('List Objects Failed')
        print('requestId:', resp.requestId)
        print('errorCode:', resp.errorCode)
        print('errorMessage:', resp.errorMessage)
except:
    print('List Objects Failed')
    print(traceback.format_exc())

代码样例(超过1000个对象的全量列举)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
try:
    max_num = 1000
    mark = None
    index = 1 
    while True:
        resp = obsClient.listObjects('bucketname', marker=mark, max_keys=max_num, encoding_type='url')
        if resp.status < 300: 
            print('requestId:', resp.requestId) 
            print('name:', resp.body.name) 
            print('prefix:', resp.body.prefix) 
            print('max_keys:', resp.body.max_keys) 
            print('is_truncated:', resp.body.is_truncated) 
            for content in resp.body.contents: 
                print('object [' + str(index) + ']') 
                print('key:', content.key) 
                print('lastModified:', content.lastModified) 
                print('etag:', content.etag) 
                print('size:', content.size) 
                print('storageClass:', content.storageClass) 
                print('owner_id:', content.owner.owner_id) 
                print('owner_name:', content.owner.owner_name) 
                index += 1 
            if resp.body.is_truncated is True:
                mark = resp.body.next_marker
            else:
                break
        else: 
            print('errorCode:', resp.errorCode) 
            print('errorMessage:', resp.errorMessage)
            break
except:
    import traceback
    print(traceback.format_exc())

相关链接