更新时间:2026-07-13 GMT+08:00
分享

批量上传对象(Node.js SDK)

开发过程中,您有任何问题可以在GitHub上提交issue,或者在华为云对象存储服务论坛中发帖求助。

您可以通过以下接口在上传时使用批量操作:

示例代码

本示例用于批量上传本地目录中的文件到OBS指定桶。您可以通过递归扫描本地目录, 再以指定并发数并发上传,文件按相对路径生成OBS对象Key,适用于本地文件批量迁移、数据备份上传等场景。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
// 引入obs库
// 使用npm安装
const ObsClient = require("esdk-obs-nodejs");
// 使用源码安装
// var ObsClient = require('./lib/obs');

// 创建ObsClient实例
const obsClient = new ObsClient({
  // 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险
  // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
  access_key_id: process.env.ACCESS_KEY_ID,
  secret_access_key: process.env.SECRET_ACCESS_KEY,
  // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入
  // security_token: process.env.SECURITY_TOKEN,
  // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写
  server: "https://obs.cn-north-4.myhuaweicloud.com",
});

// 本地待上传目录
const localUploadDir = "./uploads";
// OBS中的目标前缀
const obsPrefix = "uploaded/";
/**
 * 递归获取目录下的所有文件
 */
function getAllFiles(dir, fileList = []) {
  const files = fs.readdirSync(dir);
  for (const file of files) {
    const filePath = path.join(dir, file);
    const stat = fs.statSync(filePath);
    if (stat.isDirectory()) {
      getAllFiles(filePath, fileList);
    } else {
      fileList.push(filePath);
    }
  }
  return fileList;
}
/**
 * 批量上传对象
 */
async function batchUpload() {
  try {
    const bucketName = "examplebucket";
    // 获取本地待上传文件列表
    if (!fs.existsSync(localUploadDir)) {
      console.log(`本地目录 ${localUploadDir} 不存在`);
      return;
    }
    const filesToUpload = getAllFiles(localUploadDir);
    if (filesToUpload.length === 0) {
      console.log("没有找到需要上传的文件");
      return;
    }
    console.log(`共找到 ${filesToUpload.length} 个文件,开始批量上传...`);
    // 使用Promise.allSettled并行上传(限制并发数避免资源耗尽)
    const concurrency = 5; // 并发数
    let completed = 0;
    let successCount = 0;
    let failCount = 0;
    for (let i = 0; i < filesToUpload.length; i += concurrency) {
      const batch = filesToUpload.slice(i, i + concurrency);
      const uploadPromises = batch.map(async (filePath) => {
        // 计算OBS中的对象Key
        const relativePath = path.relative(localUploadDir, filePath);
        const objectKey = obsPrefix + relativePath.replace(/\\/g, "/");
        const uploadParams = {
          Bucket: bucketName,
          Key: objectKey,
          SourceFile: filePath,
        };
        const result = await obsClient.putObject(uploadParams);
        if (result.CommonMsg.Status <= 300) {
          console.log(`[${++completed}/${filesToUpload.length}] 文件 [${filePath}] 上传成功, ETag: ${result.InterfaceResult.ETag}`);
          return true;
        } else {
          console.log(`[${++completed}/${filesToUpload.length}] 文件 [${filePath}] 上传失败: ${result.CommonMsg.Message}`);
          return false;
        }
      });
      const results = await Promise.allSettled(uploadPromises);
      results.forEach((r) => {
        if (r.status === "fulfilled" && r.value) {
          successCount++;
        } else {
          failCount++;
        }
      });
    }
    console.log(`批量上传完成: 成功 ${successCount} 个, 失败 ${failCount} 个`);
  } catch (error) {
    console.log("客户端异常:");
    console.log(error);
  }
}

batchUpload();

相关文档