集群成本管理最佳实践

CCE提供了不同种类的集群类型，需要您结合自身业务特点，选择适合的集群类型。各种集群类型差异如下：

详情请参见集群类型对比。

不同类型ECS规格实例提供不同的计算能力和存储能力。通常情况下，配置的规格越高（CPU、内存配置越高）、专业程度越高（例如：GPU、NPU等），节点成本越高。需要您结合自身业务特点，配置出稳定、性价比高的ECS实例。

不同的业务类型对资源的使用周期、稳定性需求不同，您可以结合业务特点选择合适的付费类型，以达到成本最优的效果。

详情请参见ECS计费项。

及时识别并清理集群中闲置的云服务或者资源，比如未被使用的ECS、EVS、OBS、ELB、EIP等资源。

您需要为工作负载配置合适的Request和Limit资源限制，在保证负载有充足资源的同时，也要避免资源申请过大导致的资源浪费。

对您现有的应用进行配置优化，可以使用CCE提供的应用资源规格推荐功能。该功能使用CCE Volcano调度器，通过对工作负载的历史CPU、内存资源使用数据进行分析，得出工作负载资源申请量（Request）的推荐值。您可以直接将该推荐值应用到环境上。当您对配置进行修改时，Request默认为推荐值，Limit值取Max(Request*1.2, 当前Limit值)，您可以在此基础上添加冗余配置。

注意：推荐结果基于工作负载历史运行数据生成，可能存在偏差，仅做参考。需要您结合业务实际运行情况调整资源Request、Limit配置。

配额管理实现多团队或多用户在共享集群资源的情况下限制团队、用户可以使用的资源总量，包括限制命名空间下创建某一类型对象的数量以及对象消耗计算资源（CPU、内存）的总量。

通过命名空间配额管理，您可以对业务或者团队进行资源限制，减少不必要的资源开销。

详情请参见设置资源配额及限制。

提供应用粒度的伸缩能力，为有突发性流量或者有周期性波峰、波谷特征业务的应用提供自动调整弹性计算资源的能力。

应用按需弹性（HPA）

应用弹性伸缩是根据业务需求和策略，自动调整弹性计算资源。以有效地在业务高峰时快速扩容，业务低谷时快速缩容。以此达到最大化资源使用效率与节约成本的目的。

CCE支持多种工作负载伸缩方式，策略如下：

突发弹性能力（对接CCI）

在短时高负载场景下，除了通过HPA水平伸缩实现弹性扩容，还可以将集群中的Pod弹性创建到云容器实例CCI服务上。该方案无需新建节点资源，可以进一步减少扩容带来的资源消耗。集群中需要安装CCE突发弹性引擎（对接CCI）插件，详情请参见CCE容器实例弹性伸缩到CCI服务。

应用的弹性伸缩，可以根据负载指标动态调整副本数量，但是如果集群的资源不足，新的副本无法运行的情况下，就需要对集群进行扩容。

详情请参见节点伸缩。

您可以选择的弹性伸缩策略如下：

如果您的业务满足如下场景，推荐您使用该能力：

• 集群规划粒度过细，节点分布过散：集群规划粒度过细，节点分布在多个不同的集群中，使得计算资源无法共享，计算资源碎片数量增加。
• 节点规格没有跟随应用迭代而变化，资源分配率低：初期节点规格与应用规格匹配度较好，资源分配率较高；随着应用版本迭代，应用申请资源发生变化，与节点规格比例差异较大，使节点分配率降低，计算资源碎片数量增加。
• 业务“潮汐”特性明显，预留资源较多：在线业务具有明显日级别波峰、波谷特性，用户为保证服务的性能和稳定性按照波峰申请资源，集群的大部分资源处于闲置状态。
• 在线和离线作业分布不同集群，资源无法分时复用：用户为在线和离线作业划分不同的K8s集群中，在线业务在波谷时，无法部署离线作业使用这部分资源。

在上述场景下，帮助用户提升资源利用率，实现降本增效的云原生混部解决方案如：

借助CCE Volcano调度器提升集群中资源的使用效率，包括装箱调度（Binpack）、重调度（Descheduler）、节点池亲和性调度、负载感知调度等调度方案。

优先级表示一个作业相对于其他作业的重要性，Volcano兼容Kubernetes中的Pod优先级定义。启用该能力后，调度器将优先保障高优先级业务调度。集群资源不足时，调度器主动驱逐低优先级业务，保障调度高优先级业务可以正常调度。详情请参见优先级调度与抢占。

优先级调度与抢占调度类型：

使用GPU虚拟化能力实现算力和显存隔离，高效利用GPU设备资源。CCE GPU虚拟化采用自研xGPU虚拟化技术，能够动态对GPU设备显存与算力进行划分，相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。

详情请参见GPU虚拟化概述。

针对AI、大数据协作调度场景，可使用Volcano公平调度（DRF）、组调度（Gang）来提升训练性能，提高资源使用效率。

公平调度（DRF）

DRF（Dominant Resource Fairness）是主资源公平调度策略，应用于大批量提交AI训练和大数据作业的场景，可增强集群业务的吞吐量，整体缩短业务执行时间，提高训练性能。详情请参见公平调度（DRF）。

在实际业务中，经常会遇到将集群稀缺资源分配给多个用户的情况，每个用户获得资源的权利都相同，但是需求数却可能不同，如何公平地将资源分配给每个用户是一项非常有意义的事情。调度层面有一种常用的方法为最大最小化公平分配算法（max-min fairness share），尽量满足用户中的最小的需求，然后将剩余的资源公平分配给剩下的用户。形式化定义如下：

• 资源分配以需求递增的方式进行分配
• 每个用户获得的资源不超过其需求
• 未得到满足的用户等价平分剩下的资源

组调度（Gang）

组调度（Gang）满足了调度过程中“All or nothing”的调度需求，避免Pod的任意调度导致集群资源的浪费，主要应用于AI、大数据等多任务协作场景。启用该能力后，可以解决分布式训练任务之间的资源忙等待和死锁等痛点问题，大幅度提升整体训练性能。详情请参见组调度（Gang）。

组调度的具体算法是，观察Job下的Pod已调度数量是否满足了最小运行数量，当Job的最小运行数量得到满足时，为Job下的所有Pod执行调度动作，否则，不执行。

主要适用于需要多进程协作的场景：

• AI场景往往包含复杂的流程，Data Ingestion、Data Analysts、Data Splitting、Trainer、Serving、Logging等，需要一组容器进行协同工作，就很适合基于容器组的Gang调度策略。
• MPI计算框架下的多线程并行计算通信场景，由于需要主从进程协同工作，也非常适合使用Gang调度策略。
• 容器组下的容器高度相关也可能存在资源争抢，整体调度分配，能够有效解决死锁。

  在集群资源不足的场景下，Gang的调度策略对于集群资源的利用率的提升是非常明显的。

在云原生环境中，对于高性能计算（HPC）、实时应用和内存密集型工作负载等需要CPU间通信频繁的场景下，跨NUMA（Non-uniform memory access）节点访问会导致增加延迟和开销，从而降低系统性能。为此，volcano实现了NUMA亲和性调度策略，尽可能把Pod调度到需要跨NUMA节点最少的工作节点上，这种调度策略能够降低数据传输开销，优化资源利用率，从而增强系统的整体性能。

Volcano的目标是解决调度程序NUMA拓扑感知的限制，以便实现以下目标：

• 避免将Pod调度到NUMA拓扑不匹配的节点。
• 将Pod调度到NUMA拓扑的最佳节点。

详情请参见NUMA亲和性调度。

通过应用扩缩容优先级策略，您可以精细控制不同类型节点上的Pod扩缩容优先级，实现资源管理的最优化。应用扩缩容优先级策略包括两个方面：

• 针对扩容：集群中新建的Pod，Volcano会按照设定的节点优先级进行调度。
• 针对缩容：指定工作负载时，Volcano会按照设定的节点优先级对其进行打分，用于缩容时决定Pod删除顺序。

在使用默认扩缩容优先级策略的情况下，扩容过程中Pod优先被调度到包周期的节点，其次被调度到按需计费的节点，最后被调度到virtual-kubelet节点（弹性至CCI）；缩容过程中优先删除virtual-kubelet节点（弹性至CCI）的Pod，其次删除按需计费节点上的Pod，最后删除包周期节点上的Pod。您可以根据自身业务场景调整扩缩容优先策略。详情请参见应用扩缩容优先级策略。