基本概念

• 实际CUs在CU范围的[最小值, 最大值]区间内变化。
• 当实际CUs ≤ 包周期CU时，全部按包周期单价计费，无按需费用。
• 当实际CUs ＞ 包周期CU时，差额按按需单价每小时补收。

图1 DLI实际CUs 、已使用CUs、CU范围、包周期CU关系图

弹性资源池CU设置相关约束：

• 弹性资源池CU范围minCU小于等于实际CUs，如果扩容时minCU的目标值大于实际CUs，需要先扩容实际CUs，否则修改失败。
• 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。
• 弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。
• 调整队列的CU范围、弹性资源池包周期CU变更、弹性资源池的CU设置，均在下一个整点生效。
• 通过增加队列调整弹性资源池的实际CUs，立即生效。

• 实际CUs是弹性资源池当前分配的可用于运行作业的计算资源总量（单位CUs）。同时作为计费的直接依据。
• 实际CUs的计算规则：
  • 当资源池中没有队列时：实际CUs等于弹性资源池的最小CU。
  • 当资源池中有队列时，实际CUs的计算公式：
    • 实际CUs=max{（min[sum（队列maxCU），弹性资源池maxCU]）, 弹性资源池minCU} 。

      

    • 计算结果需满足为16CUs的倍数，如果不能整除16CUs则向上取整。
• 计费模式：

  表1 计费模式

  计费模式	计费对象	说明
  按需	按照实际CUs大小收费。	参考弹性资源池计费模式说明。
  包年包月	分为规格内、超出规格的两部分来计费	规格的部分按包周期计费。 超出规格的部分：（实际CUs-规格）的部分按需计费。成本优化：为了满足该场景下更优惠的计费，则可以通过规格变更的方式，将弹性资源池的规格扩大到与实际CUs一致，则所有实际CUs按包周期计费，整体相比原来更优惠。 详细操作指导请参考弹性资源池规格变更。

• 实际CUs与弹性资源池扩容的关系

  弹性资源池的“扩容”或“缩容”就是指调整资源池的“实际CUs”。

  了解弹性资源池扩容或缩容和实际CUs计算公式。

• 实际CUs的分配示例：

  如表2所示，弹性资源池实际CUs分配的计算过程如下：

  1. 计算队列maxCU之和：sum（队列maxCU）= 32 + 56 = 88CUs。
  2. 比较队列maxCU之和与弹性资源池maxCU，两者取最小值：min（88CUs，112CUs） = 88CUs。
  3. 再与弹性资源池minCU做比较取最大值：max（88CUs，64CUs）=88CUs
  4. 检查88CUs是否为16CU的倍数，由于88不能被16整除，故向上取整为96CUs。

     表2 弹性资源池实际CUs分配示例

     场景说明	资源类型	CU范围
     新建弹性资源池64-112CUs 添加了两个队列，分别为队列A和队列B。两个队列设置的CU范围如下： 队列A的CU范围：16-32CUs 队列B的CU范围：16-56CUs	弹性资源池	64-112CUs
     	队列A	16-32CUS
     	队列B	16-56CUS

• 定义：

  已使用CUs等于当前时刻真正被作业或任务占用且正在运行的CU数量。已使用CUs存在5分钟延迟。

• 与实际CUs的区别：

  实际CUs是平台为该资源池分配的总量；已使用CUs是其中“正在跑任务”的那一部分。

• 约束与限制

  Spark引擎、Flink引擎允许实际CUs > 已使用CUs，差值即为“空闲可立即使用”部分。

图2 已使用CUs

CU范围是弹性资源池扩缩容的“安全栅栏”，由“最小CU”和“最大CU”两条边界组成，弹性资源池的实际CUs在这个区间里自动伸缩，避免无限制的资源扩容风险。

计算实际CUs时，如果计算结果小于minCU则取minCU值为实际CUs的值；如果计算结果大于maxCU那么取maxCU为实际CUs的值。即实际CUs会始终保持在CU范围的区间内。

• 最小CU（minCU）

  包周期模式下，购买弹性资源池时设置的最小CU即弹性资源池的包周期CU（规格），可通过“包周期CU变更”调高最小CU。

  即当弹性资源池规格扩容时，CU范围的最小值与弹性资源池的包周期CU（规格）联动，当弹性资源池的规格变化后，CU范围的最小值会修改为与包周期CU（规格）一致，而最大CU 不变。

  弹性资源池缩容时，实际CUs不会低于该值，确保总有资源可立即接管作业。

  弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。

• 最大CU（maxCU）

  弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。

  弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行，尽量满足队列按最大CU运行。

包周期CU（规格）是使用包周期方式购买的CU量，购买弹性资源池时包周期CU（规格）即设置的CU范围的最小CU。

购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费，规格之外的部分按需计费。即将会产生包周期外的按需费用。

队列的最大CU直接影响实际CU分配，如果实际CUs超出规格，超出部分将按需计费。如需降低该场景下的整体成本，则可以通过弹性资源池规格变更的操作，扩大弹性资源池的包周期CU（规格）。规格变更成功后，新的包周期CU（规格）范围内所有资源均按照包年包月计费，相比变更前（部分按需计费）更优惠。

详细操作指导请参考弹性资源池规格变更。

图3 弹性资源池包年/包月+按需计费模式 | 成本优化示例

队列是DLI中被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。您可以为不同的作业或数据处理任务创建不同的队列，并按需对这些队列分配和调整资源。

DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。

建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。

DLI分为三种队列类型： default队列、SQL队列、通用队列，您可以根据业务场景和作业特性选择最合适的队列类型。

• default队列：

  DLI服务预置的队列，所有用户共享。

  不支持指定default队列资源大小，资源在执行作业时按需分配，并按实际扫描的数据量计费。

  由于default队列是共享资源，在使用时可能会出现资源抢占的情况，不能保证每次都能获得资源来执行作业。

  default队列适用小规模或临时的数据处理需求。对于重要的或需要保证资源的作业，建议购买弹性资源池并在弹性资源池中创建队列来执行作业。

• SQL队列：

  SQL队列是用于执行SQL作业的队列，支持Spark引擎。

  SQL队列适用于需要快速数据查询和分析，以及需要定期清理缓存或重置环境的业务。

• 通用队列：

  通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。

  适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。

队列实际CUs是某一时刻已实际分配给指定队列且立即可用的计算资源总量。

队列实际CUs在CU范围的[最小CUs, 最大CUs]区间内随队列负载自动弹性。

• 定义：

  队列已使用CUs等于当前时刻真正被作业或任务占用且正在运行的CU数量。已使用CUs存在5分钟延迟。

• 与实际CUs的区别：

  实际CUs是平台为该队列分配的资源总量；已使用CUs是其中“正在跑任务”的那一部分。

队列的最小CUs、最大CUs是在创建队列时设置的队列扩缩容策略。是队列扩缩容的“安全栅栏”，队列的实际CUs在这个区间内变化，避免队列无限制的扩缩容。

队列的最大CU直接影响弹性资源池实际CUs分配，如果队列的最大CU设置过大，导致弹性资源池实际CUs超出弹性资源池的包周期CUs（规格），超出部分将按需计费。

如需降低该场景下的整体成本，则可以通过弹性资源池规格变更的操作，扩大弹性资源池的包周期CU（规格）。

规格变更成功后，新的包周期CU（规格）范围内所有资源均按照包年包月计费，相比变更前（部分按需计费）更优惠。