队列管理概述
队列
DLI服务中的队列即为计算资源，计算资源是使用DLI服务的基础，用户执行的一切作业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，SQL队列用于运行SQL作业，通用队列兼容老版本的Spark队列，用于运行Spark作业和Flink作业。
- SQL队列每隔12小时会自动重启一次。
- 不支持不同类型队列直接转换，如需更换队列，请重新购买新的队列。
- default队列是系统预置的默认队列，不需要单独删除。
计算资源和存储资源的区别
|
资源名称 |
获取方式 |
主要作用 |
|---|---|---|
|
计算资源 |
在DLI管理控制台创建队列。 |
执行查询。 |
|
存储资源 |
DLI服务自带5G配额。 |
存储数据库和DLI表。 |
- 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表，体现用户存储在DLI中的数据量。
- 存储资源无需创建，DLI默认提供5G配额。
- DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。
- “default”队列只用于用户体验，所有人共用，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
专属队列
专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。
队列弹性扩缩容
DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后，可根据需要进行弹性扩缩容。
根据业务情况，手动更改队列规格。具体操作请参考弹性扩缩容。
新创建的队列需要运行作业后才可进行扩缩容。
队列弹性扩缩容定时任务
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后，可根据需要进行弹性扩缩容定时任务。
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用队列，DLI可根据作业大小自动触发扩缩容，用户无需进行操作。
新创建的队列需要运行作业后才可进行扩缩容。
队列管理页面
队列管理主要包括如下功能：
DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。
队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列，创建时间最近的队列显示在最前端。
|
参数 |
参数说明 |
|---|---|
|
名称 |
队列的名称。 |
|
类型 |
队列的类型。
|
|
规格 |
队列大小，单位：CUs。 CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。 |
|
实际CUs |
当前队列实际大小值。 |
|
弹性扩缩容 |
定时扩缩容的目标CU值，或当前规格CU值的最大值和最小值。 |
|
用户名 |
队列所有者。 |
|
描述 |
创建队列时，对队列的描述。如果无描述，则显示“--”。 |
|
操作 |
|
