多维多级网络拓扑调度

背景信息

在大规模训练作业中，通常会将一个大作业切分成多个分片，例如模型并行的各分片、数据并行的副本组。相较于分片与分片之间，每个分片内部具有更强的网络通信性能诉求。

在分布式推理任务中，也可能存在不同角色的子任务，例如常见的Prefill角色和Decode角色。这些角色内部的任务之间存在频繁通信需求。

在大模型训练或分布式推理场景下，整个训练/推理任务需要消耗巨大的资源，这些资源通常无法在一个网络性能域（HyperNode）内满足。虽然整体任务的网络拓扑约束调度可以保障任务部署在指定的多个网络性能域内，但无法保证各个子任务能部署在同一网络性能域内，导致子任务可能跨网络性能域部署，显著影响通信效率。

为此，Volcano 在网络拓扑感知调度（Network Topology Aware Scheduling）策略基础上，提供了多维多级网络拓扑亲和调度能力。在调度时，Volcano会感知集群的网络拓扑结构，优先将定义的子任务整体调度至同一网络性能域内，在满足任务整体资源需求的同时，尽可能减少子任务内部的通信开销，有效解决大规模训练与分布式推理作业中的网络通信性能问题。

功能介绍

Volcano提供了任务分组定义机制，并在任务网络拓扑约束的基础上，支持对不同分组配置独立的网络拓扑约束。

在开启网络拓扑感知调度后，调度器将遵循各个子任务的网络拓扑约束以及任务整体的网络拓扑约束，从而在满足整体作业网络通信性能需求的前提下，实现对各子任务的精细化拓扑亲和调度。

Volcano通过PodGroup资源对象提供了对任务内部Pod的分组定义能力。通过配置subGroupPolicy字段，可将一个PodGroup内的Pod划分为多个SubGroup。在subGroupPolicy中，每个SubGroup均可独立配置网络拓扑约束。在调度过程中，每个SubGroup将遵循其自身的网络拓扑约束。

任务负载可通过设置关联PodGroup的subGroupPolicy，利用Volcano实现多维多级网络拓扑亲和调度。Volcano Job和Kthena ModelServing等工作负载在定义中已内置对应的分组定义与网络拓扑约束配置，可自动创建和管理PodGroup，并在调度时遵循网络拓扑约束。

apiVersion: scheduling.volcano.sh/v1beta1
kind: PodGroup
metadata:
  name: pg-test1
  namespace: default
spec:
  networkTopology:                           # 配置podGroup网络拓扑约束
      mode: hard
      highestTierAllowed: 2
  subGroupPolicy:                          
  - name: subgroup-test              
    subGroupSize: 2                          # subGroup Pod数量 
    networkTopology:                         # 配置subGroup网络拓扑约束
      mode: hard
      highestTierAllowed: 1
    labelSelector:                           # 分组的Pod需要匹配的标签
       matchLabels:
          task-type: test  
    matchLabelKeys:                          # Pod的分组依据，value值相同的Pod分到同一个SubGroup中
    - group      

网络拓扑约束配置

在Volcano Job中，可通过配置networkTopology字段描述Job部署时的网络拓扑约束，确保Job实例被调度至满足条件的最优性能域内，显著提升计算效率与通信性能。具体约束配置如下。

spec:
  networkTopology:
    mode: hard
    highestTierAllowed: 2

前提条件

集群中已安装Volcano调度器插件，且插件版本在1.21.1及以上。

约束与限制

• 网络拓扑感知调度暂不支持抢占。当资源紧张时，调度器不会主动抢占已分配给Pod的资源。
• 若配置了分组亲和策略，则不支持soft模式的网络拓扑约束。
• HyperJob工作负载不支持网络拓扑感知调度。即使在HyperJob的JobTemplate中配置了networkTopology或分组亲和策略，这些配置将被忽略且不会生效。
• HyperNode自动发现功能不支持多种网络拓扑结构混部的场景（例如，A2与A3拓扑类型共存于同一集群）。
• 应尽量避免在运行中变更网络拓扑配置项，因为这可能导致集群内HyperNode结构重建，进而引发Volcano调度器进程的负载波动或调度异常。
• 若在调度过程中，集群网络拓扑结构或配置项发生变更，Volcano无法保证调度结果的正确性。

开启网络拓扑

1. 登录CCE控制台，单击集群名称进入集群。
2. 单击左侧导航栏的“配置中心”，切换至“调度配置”页面，选择Volcano调度器找到对应的“专家模式”，单击“开始使用”。

   

3. 进入CCE专家模式配置页面，在YAML配置文件中，开启network-topology-aware插件，以实现网络拓扑感知调度。

   ...
   default_scheduler_conf:
     actions: allocate, backfill, preempt
     tiers:
     - plugins:
       - name: priority
       - enableJobStarving: false
         enablePreemptable: false
         name: gang
       - name: conformance
     - plugins:
       - enablePreemptable: false
         name: drf
       - name: predicates
       - name: nodeorder
     - plugins:
       - name: cce-gpu-topology-predicate
       - name: cce-gpu-topology-priority
       - name: xgpu
       - name: network-topology-aware # 开启网络拓扑感知调度插件
         weight: 10 # 本插件整体策略权重
     - plugins:
       - name: nodelocalvolume
       - name: nodeemptydirvolume
       - name: nodeCSIscheduling
       - name: networkresource
   ...

   同时修改default_controller_conf配置，启用HyperNode自动发现功能。其配置参数，请根据实际需求调整。

   ...
   default_controller_conf:
     networkTopologyDiscovery:
       - source: label # HyperNode自动发现插件的名称，不可修改
         enabled: true # HyperNode自动发现插件开关，true表示开启，false表示关闭（原有的HyperNode实例不会删除）
         config:
           networkTopologyTypes:
             testtopology:                         # 网络拓扑层级关系的名称，最大限制20字符；当前仅支持配置一组
               - nodeLabel: test-tier-3            # 第3层网络拓扑对应的节点标签名，对应HyperNode tier=3
               - nodeLabel: test-tier-2            # 第2层网络拓扑对应的节点标签名，对应HyperNode tier=2
               - nodeLabel: test-tier-1            # 第1层网络拓扑对应的节点标签名，对应HyperNode tier=1
               - nodeLabel: kubernetes.io/hostname # 第0层网络拓扑对应的节点标签名，即节点层级，仅支持根据Node名匹配，不支持修改

   参数填写完成后，单击“保存”。

4. 完成上述配置后，单击右下角“确认配置”。在“确认配置”弹窗中，确认修改信息，无误后单击“保存”。

部署负载实现多维多级网络拓扑亲和调度

使用多维多级网络拓扑亲和调度，需根据集群网络环境定义HyperNode用于描述网络拓扑。HyperNode的定义与生成请参见网络拓扑感知调度概述。

以下示例采用两层网络拓扑结构。