动态资源超卖

资源超卖功能特性

当节点池启用动态资源超卖和弹性伸缩时，由于高优先级应用业务资源使用量实时变化，导致超卖资源变化较快，为了避免节点频繁缩容和扩容，在节点缩容评估时暂不考虑超卖资源。

当前特性支持集群内在离线作业混部以及节点CPU和内存资源超卖，关键特性如下：

• 离线作业优先使用超卖节点

  若同时存在超卖与非超卖节点，在离线作业调度过程中，超卖节点得分高于非超卖节点，离线作业优先调度到超卖节点。

• 在线作业预选超卖节点时只能使用其非超卖资源

  在线作业只能使用超卖节点的非超卖资源，离线作业可以使用超卖节点的超卖及非超卖资源。

• 同一调度周期在线作业先于离线作业调度

  在线作业和离线作业同时存在时，优先调度在线作业。当节点资源使用率超过设定的驱逐上限且节点request值超过100%时，将会驱逐离线作业。

• 内核提供CPU/内存隔离特性

  CPU隔离：在线作业能够快速抢占离线作业的CPU资源，并压制离线作业的CPU使用。

  内存隔离：系统内存资源用尽触发OOM Kill时，内核优先驱逐离线作业。

• Kubelet离线作业准入规则

  在调度器将Pod调度到某个节点上之后，Kubelet在启动该Pod之前，会对该Pod进行准入判断，如果此时节点资源无法满足该Pod的Request值，kubelet则拒绝启动该Pod（predicateAdmitHandler.Admit）。满足以下两个条件时，Kubelet准入该Pod：

  • 待启动Pod Request与运行的在线作业Request之和 < 节点Allocatable
  • 待启动Pod Request与运行的在/离线作业Request之和 < 节点Allocatable + 节点超卖资源
• 支持超卖和混部分离

  开启节点池的混部开关后，默认的混部配置同时打开了混部和超卖功能，节点会被同时打上volcano.sh/colocation="true"和volcano.sh/oversubscription="true"的标签。若只进行在离线作业混部，而不使用超卖资源，需在混部配置中关闭资源超卖特性，关闭超卖特性后volcano.sh/oversubscription="true"标签会被移除。

  开启混部或超卖后可使用的特性组合如下：

  开启混部	开启超卖	可以使用超卖资源	驱逐离线Pod场景
  否	否	否	无
  是	否	否	当节点实际资源使用率超过高水位线时，触发离线Pod驱逐
  否	是	是	当节点实际资源使用率超过高水位线并且节点Pod的Request和大于100%，触发离线Pod驱逐
  是	是	是	当节点实际资源使用率超过高水位线，触发离线Pod驱逐

使用方式

请根据集群版本确定资源超卖使用方式，详情请参见表1。

开启云原生混部功能后，默认即开启了资源超卖功能，详情请参见云原生混部资源超卖。云原生混部volcano-agent负责超卖资源上报和节点压力驱逐，其核心特性包括CPU/内存压制、动态资源超卖、CPU Burst、出口网络QoS分级控制等。

为了兼容旧版本支持的资源超卖特性，仍然保留了通过人工设置kubelet参数来开启资源超卖的能力，详情请参见kubelet超卖兼容模式（不推荐），但该方案仅支持基础能力，且不再演进，不支持CPU Burst、出口网络QoS分级控制等后续新特性。

云原生混部资源超卖

规格约束

• 集群版本：
  • v1.23集群：v1.23.9-r0及以上
  • v1.25集群：v1.25.4-r0及以上
• 集群类型：CCE Standard集群或CCE Turbo集群。
• 节点OS：Huawei Cloud EulerOS 2.0
• 节点类型：x86架构的弹性虚拟机。
• Volcano插件版本：1.10.0及以上版本。

使用限制

• 使用超卖特性时，需保证Volcano未启用overcommit插件。
• 运行中的Pod无法进行在线和离线业务转换，如需转换需要重建Pod。
• 当节点设置cpu-manager-policy为静态绑核时，不允许将离线Pod设置为Guaranteed的Pod，若需要绑核则需要调整Pod为在线Pod，否则可能会发生离线Pod占用在线Pod的CPU导致在线Pod启动失败，以及离线Pod虽然调度成功但仍然启动失败的情况。
• 当节点设置cpu-manager-policy为静态绑核时，不应对所有在线Pod进行绑核，否则会出现在线Pod占用了所有的CPU或者memory资源导致上报的超卖资源很少的情况。

1. 登录CCE控制台，单击集群名称进入集群。
2. 在左侧导航栏中选择“节点管理”，在需要开启动态资源超卖的节点池中，单击“更多 > 混部配置”。

   确认“节点池混部开关”及“资源超卖”开关已打开，详情请参见云原生混部配置。

   

3. （可选）调整资源超卖参数。

   表2 资源超卖参数

   名称	说明
   CPU驱逐高水位线(%)	当节点CPU使用率超过设置值时，触发离线作业驱逐，节点不可调度。 默认值80，即当节点CPU使用率超过80%时，触发离线作业驱逐。
   CPU驱逐低水位线(%)	CPU使用率高于高水位线时，触发离线作业驱逐，等到节点CPU使用率低于低水位线后，该节点才会重新接纳离线作业。 默认值为30，即当节点CPU使用率低于30%后，重新接纳离线作业。
   内存驱逐高水位线(%)	当节点内存使用率超过设置值时，触发离线作业驱逐，节点不可调度。 默认值60，即当节点内存使用率超过60%时，触发离线作业驱逐。
   内存驱逐低水位线(%)	节点内存使用率高于高水位线时，触发离线作业驱逐，等到节点内存利用率低于低水位线后，该节点才会重新接纳离线作业。 默认值为30，即当节点内存使用率低于30%后，重新接纳离线作业。

4. 确认Volcano插件配置。

   kubectl edit cm volcano-scheduler-configmap -n kube-system

   在volcano- scheduler-configmap中查看超卖的相关配置如下。同时确保插件配置中不能包含overcommit插件，如果存在（- name: overcommit），则需要删除该配置。

   ...
   data:
     volcano-scheduler.conf: |
       actions: "allocate, backfill, preempt"   #设置preempt action
       tiers:
       - plugins:
         - name: gang
           enablePreemptable: false
           enableJobStarving: false
         - name: priority
         - name: conformance
         - name: oversubscription
       - plugins:
         - name: drf
         - name: predicates
         - name: nodeorder
         - name: binpack
       - plugins:
         - name: cce-gpu-topology-predicate
         - name: cce-gpu-topology-priority
         - name: cce-gpu
   ...

5. 创建高优、低优priorityClass资源。

   cat <<EOF | kubectl apply -f -
   
   apiVersion: scheduling.k8s.io/v1
   description: Used for high priority pods
   kind: PriorityClass
   metadata:
     name: volcano-production
   preemptionPolicy: PreemptLowerPriority
   value: 999999
   ---
   apiVersion: scheduling.k8s.io/v1
   description: Used for low priority pods
   kind: PriorityClass
   metadata:
     name: volcano-free
   preemptionPolicy: PreemptLowerPriority
   value: -90000
   
   EOF

6. 部署在离线作业。

   在线、离线作业均需设置schedulerName字段的值为“volcano”，启用Volcano调度器。

   • 对于离线作业，在创建工作负载时，开启“低优业务”，该工作负载会被添加对应的离线作业注解volcano.sh/qos-level: "-1" 。

     

     并设置priorityClassName字段为volcano-free：

     kind: Deployment 
     apiVersion: apps/v1 
     spec: 
       replicas: 4 
       template: 
         metadata: 
           annotations: 
             metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"","path":"","port":"","names":""}]' 
             volcano.sh/qos-level: "-1" # 离线作业注解 
         spec: 
           schedulerName: volcano             # 调度器使用Volcano 
           priorityClassName: volcano-free         # 设置volcano-free priorityClass
           ...

   • 对于在线作业，设置priorityClassName字段为volcano-production：

     kind: Deployment 
     apiVersion: apps/v1 
     spec: 
       replicas: 4 
       template: 
         metadata: 
           annotations: 
             metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"","path":"","port":"","names":""}]' 
         spec: 
           schedulerName: volcano          # 调度器使用Volcano 
           priorityClassName: volcano-production   # 设置volcano-production priorityClass
           ...

7. 通过如下命令可查看当前超卖资源量以及资源使用情况。

   kubectl describe node <nodeIP>
   # kubectl describe node 192.168.0.0 
   Name:             192.168.0.0 
   Roles:              <none> 
   Labels:           ... 
                     volcano.sh/oversubscription=true 
   Annotations:      ... 
                     volcano.sh/oversubscription-cpu: 2335 
                     volcano.sh/oversubscription-memory: 341753856 
   Allocatable: 
     cpu:               3920m 
     memory:            6263988Ki 
   Allocated resources: 
     (Total limits may be over 100 percent, i.e., overcommitted.) 
     Resource           Requests      Limits 
     --------           --------      ------ 
     cpu                 4950m (126%)  4950m (126%) 
     memory             1712Mi (27%)  1712Mi (27%)

kubelet超卖兼容模式（不推荐）

规格约束

• 集群版本：
  • v1.19集群：v1.19.16-r4及以上版本
  • v1.21集群：v1.21.7-r0及以上版本
  • v1.23集群：v1.23.5-r0及以上版本
  • v1.25及以上版本
• 集群类型：CCE Standard集群或CCE Turbo集群。
• 节点OS：EulerOS 2.9 (内核kernel-4.18.0-147.5.1.6.h729.6.eulerosv2r9.x86_64)或者Huawei Cloud EulerOS 2.0
• 节点类型：弹性虚拟机。
• Volcano插件版本：1.7.0及以上版本。

使用限制

• 使用超卖特性时，需保证Volcano未启用overcommit插件。
• 修改超卖节点标签不会影响已经运行的pod。
• 运行中的pod无法进行在线和离线业务转换，如需转换需要重建pod。
• 集群中有节点配置超卖标签volcano.sh/oversubscription=true时，Volcano插件必须要增加oversubscription配置，否则会导致超卖节点调度异常。标签配置需要由用户保证，调度器不会对插件和节点配置进行检查。详细标签说明请参见表3。
• 超卖特性开关目前不支持统一配置，若要关闭超卖特性，需要同时进行以下操作：
  • 去掉超卖节点的volcano.sh/oversubscription标签。
  • 设置节点池的超卖开关over-subscription-resource为false。
  • 修改Volcano调度器的名字为volcano-scheduler-configmap的configmap，并去掉oversubscription插件。
• 当节点设置cpu-manager-policy为静态绑核时，不允许将离线Pod设置为Guaranteed的Pod，若需要绑核则需要调整Pod为在线Pod，否则可能会发生离线Pod占用在线Pod的CPU导致在线Pod启动失败，以及离线Pod虽然调度成功但仍然启动失败的情况。
• 当节点设置cpu-manager-policy为静态绑核时，不应对所有在线Pod进行绑核，否则会出现在线Pod占用了所有的CPU或者memory资源导致上报的超卖资源很少的情况。

资源超卖部署示例

下面将通过示例演示混合部署离线作业和在线作业。

1. 假设一个集群存在两个节点，1个超卖节点和1个非超卖节点，如下所示。

   # kubectl get node
   NAME           STATUS   ROLES    AGE    VERSION
   192.168.0.173   Ready    <none>   4h58m   v1.19.16-r2-CCE22.5.1
   192.168.0.3     Ready    <none>   148m    v1.19.16-r2-CCE22.5.1

   • 192.168.0.173为超卖节点（包含标签volcano.sh/oversubscirption=true）
   • 192.168.0.3为非超卖节点（不包含标签volcano.sh/oversubscirption=true）

   # kubectl describe node 192.168.0.173
   Name:               192.168.0.173
   Roles:              <none>
   Labels:             beta.kubernetes.io/arch=amd64
                       ...
                       volcano.sh/oversubscription=true

2. 提交离线作业，资源充足的情况下，离线作业都调度到了超卖节点上。
   离线作业模板如下。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: offline
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: offline
     template:
       metadata:
         labels:
           app: offline
         annotations:
           volcano.sh/qos-level: "-1"       #离线作业标签
       spec:
         schedulerName: volcano             #调度器使用Volcano
         priorityClassName: volcano-free         # 设置volcano-free priorityClass
         containers:
           - name: container-1
             image: nginx:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 500m
                 memory: 512Mi
               limits:
                 cpu: "1"
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   离线作业调度到超卖节点上运行。

   # kubectl get pod -o wide
   NAME                      READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-pmjp8   1/1    Running   0         5s    192.168.10.178   192.168.0.173
   offline-69cdd49bf4-z8kxh   1/1    Running   0         5s    192.168.10.131   192.168.0.173

3. 提交在线作业，资源充足时，在线作业调度到了非超卖节点。
   在线作业模板如下。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: online
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: online
     template:
       metadata:
         labels:
           app: online
       spec:
         schedulerName: volcano                 # 调度器使用Volcano
         priorityClassName: volcano-production          # 设置volcano-production priorityClass
         containers:
           - name: container-1
             image: resource_consumer:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 1400m
                 memory: 512Mi
               limits:
                 cpu: "2"
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   在线作业调度到非超卖节点上运行。

   # kubectl get pod -o wide
   NAME                   READY   STATUS   RESTARTS  AGE     IP             NODE 
   online-ffb46f656-4mwr6  1/1    Running   0         5s    192.168.10.146   192.168.0.3
   online-ffb46f656-dqdv2   1/1    Running   0         5s    192.168.10.67   192.168.0.3

4. 提升超卖节点资源使用率，观察触发离线作业驱逐。
   部署在线任务到超卖节点（192.168.0.173）上：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: online
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: online
     template:
       metadata:
         labels:
           app: online
       spec:
          affinity:                             # 提交在线任务至超卖节点
           nodeAffinity:
             requiredDuringSchedulingIgnoredDuringExecution:
               nodeSelectorTerms:
               - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - 192.168.0.173
         schedulerName: volcano                 # 调度器使用Volcano
         priorityClassName: volcano-production          # 设置volcano-production priorityClass
         containers:
           - name: container-1
             image: resource_consumer:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 700m
                 memory: 512Mi
               limits:
                 cpu: 700m
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   同时提交在/离线作业到超卖节点（192.168.0.173）上。

   # kubectl get pod -o wide
   NAME                     READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-pmjp8  1/1     Running    0      13m   192.168.10.178   192.168.0.173 
   offline-69cdd49bf4-z8kxh  1/1     Running     0      13m   192.168.10.131   192.168.0.173 
   online-6f44bb68bd-b8z9p  1/1     Running     0     3m4s   192.168.10.18   192.168.0.173 
   online-6f44bb68bd-g6xk8  1/1     Running     0     3m12s   192.168.10.69   192.168.0.173

   观察超卖节点（192.168.0.173），可以看出存在超卖资源，其中CPU为2343m，内存为3073653200字节。同时CPU分配率已超过100%。

   # kubectl describe node 192.168.0.173
   Name:              192.168.0.173
   Roles:              <none>
   Labels:              …
                       volcano.sh/oversubscription=true
   Annotations:         …                  
                       volcano.sh/oversubscription-cpu: 2343
                       volcano.sh/oversubscription-memory: 3073653200
                       …
   Allocated resources:
     (Total limits may be over 100 percent, i.e., overcommitted.)
     Resource               Requests      Limits
     --------               --------        ------
     cpu                    4750m (121%)  7350m (187%)
     memory                 3760Mi (61%)  4660Mi (76%)
                            …

   增大节点上在线作业的CPU使用率，可以观察到触发离线作业驱逐。

   # kubectl get pod -o wide
   NAME                     READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-bwdm7  1/1    Running   0       11m   192.168.10.208  192.168.0.3 
   offline-69cdd49bf4-pmjp8   0/1    Evicted    0       26m   <none>         192.168.0.173
   offline-69cdd49bf4-qpdss   1/1     Running   0       11m   192.168.10.174  192.168.0.3  
   offline-69cdd49bf4-z8kxh   0/1     Evicted    0       26m   <none>        192.168.0.173
   online-6f44bb68bd-b8z9p   1/1     Running   0       24m   192.168.10.18  192.168.0.173
   online-6f44bb68bd-g6xk8   1/1     Running   0       24m   192.168.10.69  192.168.0.173

错误处理建议

• 超卖节点kubelet重启后，由于Volcano调度器和kubelet的资源视图不同步，部分新调度的作业会出现OutOfCPU的情况，属于正常现象，一段时间后会恢复正常，Volcano调度器能够正常调度在/离线作业。
• 在/离线作业提交后，因当前内核不支持离线作业修改为在线作业，因此不建议动态修改作业类型（添加或者删除Pod的annotation volcano.sh/qos-level: "-1"）。
• CCE通过cgroups系统中的状态信息收集节点上所有运行的Pod占用的资源量（CPU/内存），可能与用户监控到的资源使用率有所不同，例如使用top命令看到的资源统计。
• 对于增加超卖资源类型，如超卖资源由cpu变为cpu、memory，此时可以随时添加。

  对于减少超卖资源类型，如由cpu、memory变为仅超卖cpu，此时需要在合适的时间进行更改，即分配率不超过100%时才可进行安全更改。

• 当离线作业先部署到节点，并占用了在线作业的资源，导致资源不足在线作业无法调度时，需要为在线作业设置比离线作业更高的priorityClass。
• 若节点上只有在线作业，且达到了驱逐水位线，则离线作业调度到当前节点后会很快被驱逐，此为正常现象。

kubelet超卖迁移至云原生混部超卖说明

当集群满足表1中的迁移场景时，您可以参照以下步骤进行迁移：

1. 在节点池中开启云原生混部资源超卖时，若检测到之前已开启了kubelet混部超卖，由于云原生混部资源超卖与kubelet超卖兼容模式无法同时生效，此时将自动关闭kubelet超卖实现迁移。
2. kubelet超卖将自动迁移至云原生混部超卖，切换过程中kubelet会短暂清除掉节点annotation上报的超卖资源，并驱逐离线Pod直至节点分配率小于100%，此为正常现象，随后由volcano-agent接管超卖，超卖功能恢复正常。