队列管理概述
队列
DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型:
- SQL队列用于运行SQL作业。
- 通用队列用于运行Spark程序、Flink SQL、Flink Jar作业。
约束限制
- DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。
- 队列类型:
- SQL类型队列:SQL队列支持提交Spark SQL作业。
- 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。
不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。
- 不支持切换队列的计费模式。
- 队列不支持切换区域。
- 16CUs队列不支持扩容和缩容。
- 64CUs队列不支持缩容。
- 创建队列时,仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。
- 新创建的队列需要运行作业后才可进行扩缩容。
- DLI队列不支持访问公网。
如有访问公网诉求请您参考配置DLI 队列与公网网络联通。
计算资源和存储资源的区别
资源名称 |
获取方式 |
计费方式 |
主要作用 |
---|---|---|---|
计算资源 |
在DLI管理控制台创建队列。 |
按扫描数据量或按CU时计费。 |
执行查询。 |
存储资源 |
DLI服务自带5G配额。 |
按存储数据量计费。 |
存储数据库和DLI表。 |
- 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
- 存储资源无需创建,DLI默认提供5G配额,若需要更大配额可提交工单申请。
- DLI服务预置了名为“default”的队列,资源的大小是按需分配的。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
- “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
专属队列
专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。购买按需队列时可以选择专属队列。专属队列无论是否使用,24小时均收费。包年包月队列为专属队列。
跨AZ队列
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。
DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单AZ不可用的情况下,持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。
DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源,例如,用户1需要1400CUs的计算资源,那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项,DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源,在一个AZ不可用的情况下,另外一个AZ可以正常的处理用户1的计算任务。
- 目前仅支持包年包月队列和按需专属队列进行跨AZ双活,不支持普通按需队列和default队列。
- 在购买队列时勾选跨AZ选项后,计费将为单AZ模式下的2倍。
包年包月队列规格变更
DLI提供了包年包月队列规格变更的功能。用户在创建包年包月队列后,可根据需要进行规格变更。目前只支持64CUs以上规格队列进行规格变更。
根据业务情况,手动更改队列规格。具体操作请参考规格变更。当前只支持包年包月队列的规格扩容/缩容,扩容/缩容后会进行收费或者退费,具体费用请参考页面提示。
新创建的队列需要运行作业后才可进行扩缩容。
按需队列弹性扩缩容
DLI提供了按需队列弹性扩缩容的功能。用户在创建指定规格按需队列后,可根据需要进行弹性扩缩容。
根据业务情况,手动更改队列规格。具体操作请参考弹性扩缩容。当前只支持按需队列的弹性扩缩容,扩容/缩容后仍然按需计费,即根据CU时计费。
新创建的队列需要运行作业后才可进行扩缩容。
队列弹性扩缩容定时任务
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。
- 按需队列扩容/缩容后仍然按需计费,即根据CU时计费。目前只支持64CU以上队列进行定时弹性扩缩容任务,即队列最小值为64CU。
- 包年包月队列只支持弹性扩容定时任务,扩容根据“预付费 + 按需CU时”计费,即包年包月规格之外的资源按需计费。目前只支持64CUs以上包年包月队列进行定时弹性扩容任务。
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用按需队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。
新创建的队列需要运行作业后才可进行扩缩容。
队列管理页面
队列管理主要包括如下功能:
DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。
队列管理页面显示用户创建所有的队列和服务预置的default队列,您可以查看队列容量、计费方式等信息。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。
参数 |
参数说明 |
---|---|
名称 |
队列的名称。 |
类型 |
队列的类型。
|
规格 |
队列大小,单位:CUs。
CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。 |
实际CUs |
当前队列实际大小值。 |
弹性扩缩容 |
定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。 |
计费模式 |
SQL作业有两种计费方式。 |
用户名 |
队列所有者。 |
企业项目 |
显示所建队列所属的企业项目。如果不属于企业项目,则显示“--”。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。关于如何设置企业项目请参考《企业管理用户指南》。
说明:
只有开通了企业管理服务的用户才显示该参数。 |
描述 |
创建队列时,对队列的描述。如果无描述,则显示“--”。 |
操作 |
|