队列管理概述
队列
DLI服务中的队列即为计算资源，计算资源是使用DLI服务的基础，用户执行的一切作业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型：
- SQL队列用于运行SQL作业。
- 通用队列用于运行Spark程序、Flink SQL、Flink Jar作业。
约束限制
- DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。
- 队列类型：
- SQL类型队列：SQL队列支持提交Spark SQL作业。
- 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。
不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。
- 不支持切换队列的计费模式。
- 队列不支持切换区域。
- 16CUs队列不支持扩容和缩容。
- 64CUs队列不支持缩容。
- 创建队列时，仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。
- 新创建的队列需要运行作业后才可进行扩缩容。
- DLI队列不支持访问公网。
如有访问公网诉求请您参考配置DLI 队列与公网网络连通。
计算资源和存储资源的区别
资源名称 |
获取方式 |
计费方式 |
主要作用 |
|---|---|---|---|
计算资源 |
在DLI管理控制台创建队列。 |
按扫描数据量或按CU时计费。 |
执行查询。 |
存储资源 |
DLI服务自带5G配额。 |
按存储数据量计费。 |
存储数据库和DLI表。 |
- 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表，体现用户存储在DLI中的数据量。
- 存储资源无需创建，DLI默认提供5G配额，如果需要更大配额可提交工单申请。
- DLI服务预置了名为“default”的队列，资源的大小是按需分配的。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。
- “default”队列只用于用户体验，所有人共用，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
专属队列
专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。购买按需队列时可以选择专属队列。专属队列无论是否使用，24小时均收费。包年包月队列为专属队列。
跨AZ队列
可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。
DLI跨AZ队列能够为用户提供跨区域容灾的能力，提高计算的可靠性，用户可以在单AZ不可用的情况下，持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。
DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源，例如，用户1需要1400CUs的计算资源，那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项，DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源，在一个AZ不可用的情况下，另外一个AZ可以正常的处理用户1的计算任务。
- 目前仅支持包年包月队列和按需专属队列进行跨AZ双活，不支持普通按需队列和default队列。
- 在购买队列时勾选跨AZ选项后，计费将为单AZ模式下的2倍。
包年包月队列规格变更
DLI提供了包年包月队列规格变更的功能。用户在创建包年包月队列后，可根据需要进行规格变更。目前只支持64CUs以上规格队列进行规格变更。
根据业务情况，手动更改队列规格。具体操作请参考规格变更。当前只支持包年包月队列的规格扩容/缩容，扩容/缩容后会进行收费或者退费，具体费用请参考页面提示。
新创建的队列需要运行作业后才可进行扩缩容。
按需队列弹性扩缩容
DLI提供了按需队列弹性扩缩容的功能。用户在创建指定规格按需队列后，可根据需要进行弹性扩缩容。
根据业务情况，手动更改队列规格。具体操作请参考弹性扩缩容。当前只支持按需队列的弹性扩缩容，扩容/缩容后仍然按需计费，即根据CU时计费。
新创建的队列需要运行作业后才可进行扩缩容。
队列弹性扩缩容定时任务
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。
- 按需队列扩容/缩容后仍然按需计费，即根据CU时计费。目前只支持64CU以上队列进行定时弹性扩缩容任务，即队列最小值为64CU。
- 包年包月队列只支持弹性扩容定时任务，扩容根据“预付费 + 按需CU时”计费，即包年包月规格之外的资源按需计费。目前只支持64CUs以上包年包月队列进行定时弹性扩容任务。
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用按需队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。
新创建的队列需要运行作业后才可进行扩缩容。
