动态资源超卖

资源超卖功能特性

当节点池启用动态资源超卖和弹性伸缩时，由于高优先级应用业务资源使用量实时变化，导致超卖资源变化较快，为了避免节点频繁缩容和扩容，在节点缩容评估时暂不考虑超卖资源。

当前特性支持集群内在离线作业混部以及节点CPU和内存资源超卖，关键特性如下：

• 离线作业优先使用超卖节点

  若同时存在超卖与非超卖节点，在离线作业调度过程中，超卖节点得分高于非超卖节点，离线作业优先调度到超卖节点。

• 在线作业预选超卖节点时只能使用其非超卖资源

  在线作业只能使用超卖节点的非超卖资源，离线作业可以使用超卖节点的超卖及非超卖资源。

• 同一调度周期在线作业先于离线作业调度

  在线作业和离线作业同时存在时，优先调度在线作业。当节点资源使用率超过设定的驱逐上限且节点request值超过100%时，将会驱逐离线作业。

• 内核提供CPU/内存隔离特性

  CPU隔离：在线作业能够快速抢占离线作业的CPU资源，并压制离线作业的CPU使用。

  内存隔离：系统内存资源用尽触发OOM Kill时，内核优先驱逐离线作业。

• Kubelet离线作业准入规则

  在调度器将Pod调度到某个节点上之后，Kubelet在启动该Pod之前，会对该Pod进行准入判断，如果此时节点资源无法满足该Pod的Request值，kubelet则拒绝启动该Pod（predicateAdmitHandler.Admit）。满足以下两个条件时，Kubelet准入该Pod：

  • 待启动Pod Request与运行的在线作业Request之和 < 节点Allocatable
  • 待启动Pod Request与运行的在/离线作业Request之和 < 节点Allocatable + 节点超卖资源
• 支持超卖和混部分离

  若只进行在离线作业混部，而不使用超卖资源，需要将设置节点标签volcano.sh/colocation="true"，同时去掉节点的标签 volcano.sh/oversubscription或者设置其值为false。

  设置节点标签volcano.sh/colocation="true"表示开启混部，设置节点标签volcano.sh/oversubscription="true"表示开启超卖，开启混部或超卖后可使用的特性组合如下：

  开启混部（设置节点标签volcano.sh/colocation="true"）	开启超卖（设置节点标签volcano.sh/oversubscription="true"）	可以使用超卖资源	驱逐离线Pod场景（可使用节点Annotations设置驱逐水位线）
  否	否	否	无
  是	否	否	当节点实际资源使用率超过高水位线时，触发离线Pod驱逐
  否	是	是	当节点实际资源使用率超过高水位线并且节点Pod的Request和大于100%，触发离线Pod驱逐
  是	是	是	当节点实际资源使用率超过高水位线，触发离线Pod驱逐

kubelet超卖

规格约束

• 集群版本：
  • v1.19集群：v1.19.16-r4及以上版本
  • v1.21集群：v1.21.7-r0及以上版本
  • v1.23集群：v1.23.5-r0及以上版本
  • v1.25及以上版本
• 集群类型：CCE Standard集群。
• 节点OS：EulerOS 2.9 (内核kernel-4.18.0-147.5.1.6.h729.6.eulerosv2r9.x86_64)或者Huawei Cloud EulerOS 2.0
• 节点类型：弹性虚拟机。
• Volcano插件版本：1.7.0及以上版本。

使用限制

• 使用超卖特性时，需保证Volcano未启用overcommit插件。
• 修改超卖节点标签不会影响已经运行的pod。
• 运行中的pod无法进行在线和离线业务转换，如需转换需要重建pod。
• 集群中有节点配置超卖标签volcano.sh/oversubscription=true时，Volcano插件必须要增加oversubscription配置，否则会导致超卖节点调度异常。标签配置需要由用户保证，调度器不会对插件和节点配置进行检查。详细标签说明请参见表1。
• 超卖特性开关目前不支持统一配置，若要关闭超卖特性，需要同时进行以下操作：
  • 去掉超卖节点的volcano.sh/oversubscription标签。
  • 设置节点池的超卖开关over-subscription-resource为false。
  • 修改Volcano调度器的名字为volcano-scheduler-configmap的configmap，并去掉oversubscription插件。
• 当节点设置cpu-manager-policy为静态绑核时，不允许将离线Pod设置为Guaranteed的Pod，若需要绑核则需要调整Pod为在线Pod，否则可能会发生离线Pod占用在线Pod的CPU导致在线Pod启动失败，以及离线Pod虽然调度成功但仍然启动失败的情况。
• 当节点设置cpu-manager-policy为静态绑核时，不应对所有在线Pod进行绑核，否则会出现在线Pod占用了所有的CPU或者memory资源导致上报的超卖资源很少的情况。

资源超卖部署示例

下面将通过示例演示混合部署离线作业和在线作业。

1. 假设一个集群存在两个节点，1个超卖节点和1个非超卖节点，如下所示。

   # kubectl get node
   NAME           STATUS   ROLES    AGE    VERSION
   192.168.0.173   Ready    <none>   4h58m   v1.19.16-r2-CCE22.5.1
   192.168.0.3     Ready    <none>   148m    v1.19.16-r2-CCE22.5.1

   • 192.168.0.173为超卖节点（包含标签volcano.sh/oversubscirption=true）
   • 192.168.0.3为非超卖节点（不包含标签volcano.sh/oversubscirption=true）

   # kubectl describe node 192.168.0.173
   Name:               192.168.0.173
   Roles:              <none>
   Labels:             beta.kubernetes.io/arch=amd64
                       ...
                       volcano.sh/oversubscription=true

2. 提交离线作业，资源充足的情况下，离线作业都调度到了超卖节点上。
   离线作业模板如下。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: offline
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: offline
     template:
       metadata:
         labels:
           app: offline
         annotations:
           volcano.sh/qos-level: "-1"       #离线作业标签
       spec:
         schedulerName: volcano             #调度器使用Volcano
         priorityClassName: testing         # 设置testing priorityClass
         containers:
           - name: container-1
             image: nginx:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 500m
                 memory: 512Mi
               limits:
                 cpu: "1"
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   离线作业调度到超卖节点上运行。

   # kubectl get pod -o wide
   NAME                      READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-pmjp8   1/1    Running   0         5s    192.168.10.178   192.168.0.173
   offline-69cdd49bf4-z8kxh   1/1    Running   0         5s    192.168.10.131   192.168.0.173

3. 提交在线作业，资源充足时，在线作业调度到了非超卖节点。
   在线作业模板如下。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: online
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: online
     template:
       metadata:
         labels:
           app: online
       spec:
         schedulerName: volcano                 # 调度器使用Volcano
         priorityClassName: production          # 设置production priorityClass
         containers:
           - name: container-1
             image: resource_consumer:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 1400m
                 memory: 512Mi
               limits:
                 cpu: "2"
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   在线作业调度到非超卖节点上运行。

   # kubectl get pod -o wide
   NAME                   READY   STATUS   RESTARTS  AGE     IP             NODE 
   online-ffb46f656-4mwr6  1/1    Running   0         5s    192.168.10.146   192.168.0.3
   online-ffb46f656-dqdv2   1/1    Running   0         5s    192.168.10.67   192.168.0.3

4. 提升超卖节点资源使用率，观察触发离线作业驱逐。
   部署在线任务到超卖节点（192.168.0.173）上：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: online
     namespace: default
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: online
     template:
       metadata:
         labels:
           app: online
       spec:
          affinity:                             # 提交在线任务至超卖节点
           nodeAffinity:
             requiredDuringSchedulingIgnoredDuringExecution:
               nodeSelectorTerms:
               - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - 192.168.0.173
         schedulerName: volcano                 # 调度器使用Volcano
         priorityClassName: production          # 设置production priorityClass
         containers:
           - name: container-1
             image: resource_consumer:latest
             imagePullPolicy: IfNotPresent
             resources:
               requests:
                 cpu: 700m
                 memory: 512Mi
               limits:
                 cpu: 700m
                 memory: 512Mi
         imagePullSecrets:
           - name: default-secret

   同时提交在/离线作业到超卖节点（192.168.0.173）上。

   # kubectl get pod -o wide
   NAME                     READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-pmjp8  1/1     Running    0      13m   192.168.10.178   192.168.0.173 
   offline-69cdd49bf4-z8kxh  1/1     Running     0      13m   192.168.10.131   192.168.0.173 
   online-6f44bb68bd-b8z9p  1/1     Running     0     3m4s   192.168.10.18   192.168.0.173 
   online-6f44bb68bd-g6xk8  1/1     Running     0     3m12s   192.168.10.69   192.168.0.173

   观察超卖节点（192.168.0.173），可以看出存在超卖资源，其中CPU为2343m，内存为3073653200字节。同时CPU分配率已超过100%。

   # kubectl describe node 192.168.0.173
   Name:              192.168.0.173
   Roles:              <none>
   Labels:              …
                       volcano.sh/oversubscription=true
   Annotations:         …                  
                       volcano.sh/oversubscription-cpu: 2343
                       volcano.sh/oversubscription-memory: 3073653200
                       …
   Allocated resources:
     (Total limits may be over 100 percent, i.e., overcommitted.)
     Resource               Requests      Limits
     --------               --------        ------
     cpu                    4750m (121%)  7350m (187%)
     memory                 3760Mi (61%)  4660Mi (76%)
                            …

   增大节点上在线作业的CPU使用率，可以观察到触发离线作业驱逐。

   # kubectl get pod -o wide
   NAME                     READY   STATUS   RESTARTS  AGE     IP             NODE 
   offline-69cdd49bf4-bwdm7  1/1    Running   0       11m   192.168.10.208  192.168.0.3 
   offline-69cdd49bf4-pmjp8   0/1    Evicted    0       26m   <none>         192.168.0.173
   offline-69cdd49bf4-qpdss   1/1     Running   0       11m   192.168.10.174  192.168.0.3  
   offline-69cdd49bf4-z8kxh   0/1     Evicted    0       26m   <none>        192.168.0.173
   online-6f44bb68bd-b8z9p   1/1     Running   0       24m   192.168.10.18  192.168.0.173
   online-6f44bb68bd-g6xk8   1/1     Running   0       24m   192.168.10.69  192.168.0.173

错误处理建议

• 超卖节点kubelet重启后，由于Volcano调度器和kubelet的资源视图不同步，部分新调度的作业会出现OutOfCPU的情况，属于正常现象，一段时间后会恢复正常，Volcano调度器能够正常调度在/离线作业。
• 在/离线作业提交后，因当前内核不支持离线作业修改为在线作业，因此不建议动态修改作业类型（添加或者删除Pod的annotation volcano.sh/qos-level: "-1"）。
• CCE通过cgroups系统中的状态信息收集节点上所有运行的Pod占用的资源量（CPU/内存），可能与用户监控到的资源使用率有所不同，例如使用top命令看到的资源统计。
• 对于增加超卖资源类型，如超卖资源由cpu变为cpu、memory，此时可以随时添加。

  对于减少超卖资源类型，如由cpu、memory变为仅超卖cpu，此时需要在合适的时间进行更改，即分配率不超过100%时才可进行安全更改。

• 当离线作业先部署到节点，并占用了在线作业的资源，导致资源不足在线作业无法调度时，需要为在线作业设置比离线作业更高的priorityClass。
• 若节点上只有在线作业，且达到了驱逐水位线，则离线作业调度到当前节点后会很快被驱逐，此为正常现象。