上传对象-文件上传(Python SDK)

from obs import ObsClient
import os
import traceback

# 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html。
# 运行本代码示例之前，请确保已设置环境变量AccessKeyID和SecretAccessKey
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS，则同样推荐通过环境变量获取
# security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以中国-香港为例，其他地区请按实际情况填写
server = "https://obs.ap-southeast-1.myhuaweicloud.com"
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)

def out_put_res(resp, objectKey=None):
    if isinstance(resp, list):
        for res in resp:
            out_put_res(res)
    elif isinstance(resp, tuple) and isinstance(resp[1], list):
        out_put_res(resp[1])
    elif isinstance(resp, tuple):
        if resp[1].status < 300:
            print(f'Put File Succeeded, objectkey: {resp[0]}')
        else:
            print(f'Put File Failed, objectkey: {resp[0]}')
            print('requestId:', resp[1].requestId)
            print('errorCode:', resp[1].errorCode)
            print('errorMessage:', resp[1].errorMessage)
    else:
        if resp.status < 300:
            print(f'Put File Succeeded, objectkey: {objectKey}')
        else:
            print(f'Put File Failed, objectkey: {objectKey}')
            print('requestId:', resp.requestId)
            print('errorCode:', resp.errorCode)
            print('errorMessage:', resp.errorMessage)
try:
    bucketName = "examplebucket"
    # 上传后的文件夹名称，本地文件夹中的所有文件会上传到该文件夹中，注意不要以/结尾
    objectKey = "folder"
    # 待上传文件夹的完整路径，如aa/
    folder_path = 'localfolder/'
    # 文件夹上传
    resp = obsClient.putFile(bucketName, objectKey, folder_path)
    # resp为文件夹中每个文件上传结果的清单
    out_put_res(resp, objectKey)
except:
    print('Put File Failed')
    print(traceback.format_exc())

from obs import ObsClient
from concurrent.futures import ThreadPoolExecutor, as_completed
import os
import traceback

# 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html。
# 运行本代码示例之前，请确保已设置环境变量AccessKeyID和SecretAccessKey
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS，则同样推荐通过环境变量获取
# security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以中国-香港为例，其他地区请按实际情况填写
server = "https://obs.ap-southeast-1.myhuaweicloud.com"
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)
folder_path = 'localfolder/'
bucketName = 'examplebucket'
# 上传后的文件夹名称，本地文件夹中的所有文件会上传到该文件夹中，请以/结尾，如果要上传到根目录此处传空字符串即可，即prefix = ''
prefix = 'testobs/'
ThreadNum = 20
g = os.walk(folder_path)
# 创建上传的线程池
pool = ThreadPoolExecutor(ThreadNum)
all_task = []
for path, dir_list, file_list in g:
    for file_name in file_list:
        srcKey = os.path.join(path, file_name)
        obsObjectKey = prefix + srcKey.split(folder_path)[1].replace('\\', '/')
        exists = False
        try:
            # 【可选】根据对象名称来判断 OBS 上文件是否存在
            # resp = obsClient.headObject(bucketName, obsObjectKey)
            # if resp.status < 300:
            #     exists = True
            # elif resp.status == 404:
            #     exists = False
            # else:
            #     print('Error happened, reupload it.')
            if not exists:
                print("File %s not exists in obs, upload it", srcKey)
                all_task.append(pool.submit(obsClient.putFile, bucketName, obsObjectKey, srcKey))
                # 大文件上传建议使用obsClient.uploadFile，参数具体参考断点续传上传接口
                # partSize = 9 * 1024 * 1024
                # taskNum = 10
                # enableCheckpoint = True
                # all_task.append(pool.submit(obsClient.uploadFile, bucketName, obsObjectKey, srcKey, partSize, taskNum, enableCheckpoint))
        except:
            print(traceback.format_exc())
for future in as_completed(all_task):
    put_resp = future.result()
    if put_resp.status < 300:
        print(f'Put File Succeeded, objectUrl: {put_resp.body.objectUrl}')
    else:
        print('Put File Failed')
        print('requestId:', put_resp.requestId)
        print('errorCode:', put_resp.errorCode)
        print('errorMessage:', put_resp.errorMessage)