队列管理概述

队列

DLI服务中的队列即为计算资源，计算资源是使用DLI服务的基础，用户执行的一切作业都需要使用计算资源。

当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，SQL队列用于运行SQL作业，通用队列兼容老版本的Spark队列，用于运行Spark作业和Flink作业。

SQL队列每隔12小时会自动重启一次。

计算资源和存储资源的区别

• 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表，体现用户存储在DLI中的数据量。
• 存储资源无需创建，DLI默认提供5G配额。
• DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。

• “default”队列只用于用户体验，所有人共用，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。

专属队列

专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。

跨AZ队列

可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。

DLI跨AZ队列能够为用户提供跨区域容灾的能力，提高计算的可靠性，用户可以在单AZ不可用的情况下，持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。

DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源，例如，用户1需要1400CUs的计算资源，那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项，DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源，在一个AZ不可用的情况下，另外一个AZ可以正常的处理用户1的计算任务。

• 目前仅支持SQL队列。
• 不支持default队列。
• 在创建队列时勾选跨AZ选项后，计费将为单AZ模式下的2倍。

AI增强型队列

AI增强型队列用于运行AI相关的SQL作业。DLI通过AI镜像，在原有的Spark镜像基础上，集成了一系列通用的AI相关算法包，将Spark与AI能力相结合，方便用户运行机器学习相关的作业。AI镜像所依赖的安装包请参考AI镜像安装依赖包。创建队列时在“队列特性”中选择“AI增强型”即可使用。

队列规格变更（扩缩容）

用户购买队列后，随着业务场景的变化，可能存在队列资源不足或队列资源浪费的情况。

另外，针对Flink作业，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。

新创建的队列需要运行作业后才可进行扩缩容。

队列管理页面

队列管理主要包括如下功能：

• 权限管理
• 创建队列
• 删除队列
• 修改队列网段
• 规格变更（手动扩容/缩容）
• 规格变更定时任务（定时扩容/缩容）
• 创建消息通知主题

DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。

队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。