更新时间:2026-06-11 GMT+08:00
如何配置迁移时的最大并发子任务数
背景信息
在迁移任务中,最大并发子任务数(线程数)的设置直接影响机器的CPU利用率、网络吞吐量和迁移速度。线程数过少会导致资源浪费,线程数过多会导致过度上下文切换,降低效率。
本指南基于实际测试数据,为不同文件规格提供推荐的并发子任务数配置。
小文件(40B,不足1KB)
- 文件极小(40B,不足1KB),CPU计算开销占比高
- 每个对象的序列化和元数据处理消耗CPU资源
- 过多线程会导致严重的上下文切换,降低效率
| 相关指标 | 推荐值 | 推荐预期表现 |
|---|---|---|
| 最大并发子任务数 | 迁移节点数量 × 2 |
|
小文件(30KB,不足1MB)
- 文件较小(30KB,不足1MB),CPU开销仍然较高
- 相比40B文件,I/O占比略有提升
- 可以适当增加并发数以充分利用CPU
| 相关指标 | 推荐值 | 推荐预期表现 |
|---|---|---|
| 最大并发子任务数 | 迁移节点数量 × 3 |
|
中等文件(1MB,不足10MB)
- 文件大小适中,CPU和I/O达到较好平衡
- 更大的文件意味着更多的I/O等待时间
- 可以支持更多的并发任务
| 相关指标 | 推荐值 | 推荐预期表现 |
|---|---|---|
| 最大并发子任务数 | 迁移节点数量 × 4~6 |
|
大文件(大于等于10MB)
- 文件较大(大于等于10MB),I/O操作占用主要时间
- 大文件迁移期间,线程大部分时间在等待网络I/O
- 可以支持更多并发,充分利用等待时间
| 相关指标 | 推荐值 | 推荐预期表现 |
|---|---|---|
| 最大并发子任务数 | 迁移节点数量 × 6~10 |
|
综合对照表
| 文件规格 | 推荐并发数 | CPU利用率预期 | 适用场景 |
|---|---|---|---|
| 40B,不足1KB | 节点数 × 2 | 80-90% | 小对象列表迁移 |
| 30KB,不足1MB | 节点数 × 3 | 85-92% | 小对象列表迁移 |
| 1MB,不足10MB | 节点数 × 4~6 | 85-93% | 中等对象迁移 |
| 大于等于10MB | 节点数 × 6~10 | 80-88% | 大对象迁移 |