# 列举桶内对象(Python SDK) #### 功能介绍 调用列举桶内对象接口，可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数，返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 #### 接口约束 - 每次接口调用最多返回1000个对象信息。 - 您必须是桶拥有者或拥有列举桶内对象的权限，才能列举桶内对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:bucket:ListBucket权限，如果使用桶策略则需授予ListBucket权限。相关授权方式介绍可参见[OBS权限控制概述](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0001.html)，配置方式详见[使用IAM自定义策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0121.html)、[自定义创建桶策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0123.html)。 - OBS支持的Region与Endpoint的对应关系，详细信息请参见[地区与终端节点](https://developer.huaweicloud.com/endpoint?OBS)。 #### 方法定义 ObsClient.listObjects(bucketName, prefix, marker, max_keys, delimiter, extensionHeaders) #### 请求参数说明 表1请求参数列表 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | bucketName | str | 必选 | **参数解释** **：** 桶名。 **约束限制：** - 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 - 桶命名规则如下： - 3～63个字符，数字或字母开头，支持小写字母、数字、"-"、"."。 - 禁止使用IP地址。 - 禁止以"-"或"."开头及结尾。 - 禁止两个"."相邻（如："my..bucket"）。 - 禁止"."和"-"相邻（如："my-.bucket"和"my.-bucket"）。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | prefix | str | 可选 | **参数解释：** 列举桶内对象列表时，指定一个前缀，限定返回的对象名必须带有prefix前缀。 例如，您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有对象。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | marker | str | 可选 | **参数解释：** 列举桶内对象列表时，指定一个标识符，作为列举时的起始位置，从该标识符以后按对象名的字典顺序返回对象列表。 例如，您拥有以下对象：test/a、test/b、test/c、test/d。如果您将test/b指定为标识符，将返回test/c、test/d两个对象。 **约束限制：** 仅用于非多版本列举。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | max_keys | int | 可选 | **参数解释：** 列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前max_keys个对象。 **取值范围：** 1\~1000，当超出范围时，按照默认的1000进行处理。 **默认取值：** 1000 | | delimiter | str | 可选 | **参数解释：** 将对象名进行分组的分隔符。如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefix；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefix。 例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefix；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefix，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefix。 对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置\[delimiter=/\]，只列举当前目录下的内容，不列举子目录，提高列举效率。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | extensionHeaders | dict | 可选 | **参数解释：** 接口的拓展头域。 **取值范围：** 参考[自定义头域](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1305.html)。 **默认取值：** 无 | | encoding_type | str | 可选 | **参数解释：** 对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符，可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix（包括 commonPrefixes 中的 Prefix）、nextKeyMarker 和 key 进行编码。 **取值范围：** 可选值为url。 **默认取值：** 无，不设置则不编码。 | #### 返回结果说明 表2返回结果 | **类型** | **说明** | |:---|:---| | [GetResult] | **参数解释：** SDK公共结果对象。 | 表3GetResult | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | status | int | **参数解释：** HTTP状态码。 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 **默认取值：** 无 | | reason | str | **参数解释：** HTTP文本描述。 **默认取值：** 无 | | errorCode | str | **参数解释：** OBS服务端错误码，当status参数小于300时为空。 **默认取值：** 无 | | errorMessage | str | **参数解释：** OBS服务端错误描述，当status参数小于300时为空。 **默认取值：** 无 | | requestId | str | **参数解释：** OBS服务端返回的请求ID。 **默认取值：** 无 | | indicator | str | **参数解释：** OBS服务端返回的错误定位码。 **默认取值：** 无 | | hostId | str | **参数解释：** 请求的服务端ID，当status参数小于300时为空。 **默认取值：** 无 | | resource | str | **参数解释：** 发生错误时相关的桶或对象，当status参数小于300时为空。 **默认取值：** 无 | | header | list | **参数解释：** 响应消息头列表，由多个元组构成。每个元组均包含两个元素，代表响应头的键值对。 **默认取值：** 无 | | body | object | **参数解释：** 操作成功后的结果数据，当status大于300时为空。该值根据调用接口的不同而不同，参见"桶相关接口"章节和"对象相关接口"章节的详细描述。 **默认取值：** 无 | 表4GetResult.body | **GetResult.body类型** | **说明** | |:---|:---| | [ListObjectsResponse] | **参数解释：** 列举桶内对象响应结果，参考[ListObjectsResponse]。 | 表5ListObjectsResponse | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | name | str | **参数解释** **：** 桶名。 **约束限制：** - 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 - 桶命名规则如下： - 3～63个字符，数字或字母开头，支持小写字母、数字、"-"、"."。 - 禁止使用IP地址。 - 禁止以"-"或"."开头及结尾。 - 禁止两个"."相邻（如："my..bucket"）。 - 禁止"."和"-"相邻（如："my-.bucket"和"my.-bucket"）。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | location | str | **参数解释** **：** 桶所在的区域。 **约束限制：** 该参数定义了桶将会被创建在哪个区域，如果使用的终端节点是obs.myhuaweicloud.com，可以不携带此参数；如果使用的终端节点不是obs.myhuaweicloud.com，则必须携带此参数。 **取值范围：** 当前有效的OBS区域和终端节点的更多信息，请参考[地区和终端节点](https://developer.huaweicloud.com/endpoint?OBS)。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以向企业管理员获取区域和终端节点信息。 **默认取值：** 终端节点为obs.myhuaweicloud.com且用户未设定区域时，默认为华北-北京一（cn-north-1）。 | | prefix | str | **参数解释：** 列举桶内对象列表时，指定一个前缀，限定返回的对象名必须带有prefix前缀。 例如，您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有对象。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | marker | str | **参数解释：** 列举桶内对象列表时，指定一个标识符，作为列举时的起始位置，从该标识符以后按对象名的字典顺序返回对象列表。 例如，您拥有以下对象：test/a、test/b、test/c、test/d。如果您将test/b指定为标识符，将返回test/c、test/d两个对象。 **约束限制：** 仅用于非多版本列举。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | delimiter | str | **参数解释：** 将对象名进行分组的分隔符。如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefix；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefix。 例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的commonPrefix；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的commonPrefix，而bbcde会被单独分成一组，形成一条前缀为bbcd的commonPrefix。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | max_keys | int | **参数解释：** 列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前max_keys个对象。 **取值范围：** 1\~1000，当超出范围时，按照默认的1000进行处理。 **默认取值：** 1000 | | is_truncated | bool | **参数解释：** 表明本次请求是否返回了全部结果。 **取值范围：** - True表示没有返回全部结果。 - False表示已返回了全部结果。 **默认取值：** 无 | | next_marker | str | **参数解释：** 下次列举对象请求的起始位置。 **取值范围：** 字符串，下一次请求起始位置的对象名 **默认取值：** 无 | | contents | list of [Content] | **参数解释：** 桶内对象列表。 **取值范围：** 参考[Content]。 | | commonPrefixs | list of [CommonPrefix] | **参数解释：** 当请求中设置了delimiter分组字符时，返回按delimiter分组后的对象名称前缀列表。 **取值范围：** 参考[CommonPrefix] | | encoding_type | str | **参数解释：** 对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符，可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix（包括 commonPrefixes 中的 Prefix）、nextKeyMarker 和 key 进行编码。 **取值范围：** 可选值为url。 **默认取值：** 无，不设置则不编码。 | 表6Content | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | key | str | **参数解释：** 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | lastModified | str | **参数解释：** 对象的最近一次修改时间。 **约束限制：** 日期为当前系统所属时区时间。 例如：2018/01/01 00:00:00，表示最后一次修改时间为2018/01/01 00:00:00。 **默认取值：** 无 | | etag | str | **参数解释：** 对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的ETag。 **约束限制：** 当对象是服务端加密的对象时，ETag值不是对象的MD5值。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | size | int | **参数解释：** 对象数据的长度。 **取值范围：** 0\~48.8TB，单位：字节。 **默认取值：** 无 | | owner | [Owner] | **参数解释：** 对象的所有者。 **取值范围：** 参考[Owner]。 | | storageClass | str | **参数解释：** 对象的存储类型。 **取值范围：** - 当对象存储类型是标准存储时，该值为空。 - 可选择的存储类型参见[存储类型]。 **默认取值：** 无 | | isAppendable | bool | **参数解释：** 对象是否可被追加上传。 **取值范围：** True：可以追加。 False：不可追加。 **默认取值：** 无 | 表7Owner | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | owner_id | str | 作为请求参数时必选 | **参数解释：** 所有者的账号ID，即domain_id。 **取值范围：** 如何获取账号ID请参见[如何获取账号ID和用户ID?](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1703.html) **默认取值：** 无 | | owner_name | str | 作为请求参数时可选 | **参数解释：** 所有者的账号用户名。 **取值范围：** 如何获取账号用户名请参见[如何获取用户名?](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1703.html) **默认取值：** 无 | 表8CommonPrefix | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | prefix | str | **参数解释：** 当请求中设置了delimiter分组字符时，返回按delimiter分组后的对象名称前缀列表。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | 表9StorageClass | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | STANDARD | 标准存储 | **参数解释：** 标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（\<1MB），且需要频繁访问数据的业务场景。 | | WARM | 低频访问存储 | **参数解释：** 低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。 | | COLD | 归档存储 | **参数解释：** 归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 | | DEEP_ARCHIVE | 深度归档存储 | **参数解释：** 深度归档存储适用于长期不访问（平均几年访问一次）数据的业务场景。 | #### 代码样例 OBS本身是没有文件夹的概念的，桶中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以"/"结尾的对象，将这个文件夹对象名作为前缀，即可模拟列举文件夹中对象的功能。本示例用于列举桶内对象，桶名为examplebucket，前缀为test/的对象，且指定返回对象的数量为100个。 ``` import os import traceback from obs import ObsClient # 推荐通过环境变量获取AK/SK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 如需使用临时AK/SK和SecurityToken访问OBS，则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AK/SK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值 obs_client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucket_name = "examplebucket" # 指定列举对象的前缀 prefix = 'test/' # 指定单次列举对象个数为100 max_keys = 100 # 列举桶内对象 resp = obs_client.listObjects(bucket_name, prefix, max_keys=max_keys, encoding_type='url') # 返回码为2xx时，接口调用成功，否则接口调用失败 if resp.status < 300: print('List Objects Succeeded') print('requestId:', resp.requestId) print('name:', resp.body.name) print('prefix:', resp.body.prefix) print('max_keys:', resp.body.max_keys) print('is_truncated:', resp.body.is_truncated) index = 1 for content in resp.body.contents: print(f'object [{index}]') print('key:', content.key) print('lastModified:', content.lastModified) print('etag:', content.etag) print('size:', content.size) print('storageClass:', content.storageClass) print('owner_id:', content.owner.owner_id) print('owner_name:', content.owner.owner_name) index += 1 else: print('List Objects Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except Exception: print('List Objects Failed') print(traceback.format_exc()) ``` #### 代码样例（超过1000个对象的全量列举） ``` try: max_num = 1000 mark = None index = 1 while True: resp = obs_client.listObjects('bucketname', marker=mark, max_keys=max_num, encoding_type='url') if resp.status < 300: print('requestId:', resp.requestId) print('name:', resp.body.name) print('prefix:', resp.body.prefix) print('max_keys:', resp.body.max_keys) print('is_truncated:', resp.body.is_truncated) for content in resp.body.contents: print('object [' + str(index) + ']') print('key:', content.key) print('lastModified:', content.lastModified) print('etag:', content.etag) print('size:', content.size) print('storageClass:', content.storageClass) print('owner_id:', content.owner.owner_id) print('owner_name:', content.owner.owner_name) index += 1 if resp.body.is_truncated is True: mark = resp.body.next_marker else: break else: print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) break except Exception: import traceback print(traceback.format_exc()) ``` #### 代码样例（统计文件夹大小） 本示例用于统计example/文件夹总大小和对象总数。 ``` import os import traceback from obs import ObsClient # 推荐通过环境变量获取AK/SK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 如需使用临时AK/SK和SecurityToken访问OBS，则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AK/SK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值 obs_client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucket_name = "examplebucket" # 指定列举对象的前缀 prefix = 'example/' # 指定单次列举对象个数为1000 max_keys = 1000 mark = None # 初始化对象总大小 total_size = 0 # 初始化对象数量 obj_num = 1 while True: resp = obs_client.listObjects(bucket_name, marker=mark, prefix=prefix, encoding_type='url') if resp.status < 300: print('requestId:', resp.requestId) print('is_truncated:', resp.body.is_truncated) for content in resp.body.contents: print('key:', content.key) print('size:', content.size) total_size += content.size print(f'object [{obj_num}]') obj_num += 1 if resp.body.is_truncated is True: mark = resp.body.next_marker else: break else: print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) print('total_size:', total_size) print("o_num:", obj_num) except Exception: print(traceback.format_exc()) ``` #### 相关链接 - 关于列举桶内对象的API说明，请参见[列举桶内对象](https://support.huaweicloud.com/api-obs/obs_04_0022.html)。 - 更多关于列举对象的示例代码，请参见[Github示例](https://github.com/huaweicloud/huaweicloud-sdk-python-obs/blob/master/examples/list_objects_sample.py)。 - 列举桶内对象过程中返回的错误码含义、问题原因及处理措施可参考[OBS错误码](https://support.huaweicloud.com/api-obs/obs_04_0115.html#section1)。 - 桶和对象相关常见问题请参见[桶和对象相关常见问题](https://support.huaweicloud.com/obs_faq/obs_faq_1200.html)。