更新时间:2022-08-12 GMT+08:00

队列管理概述

队列

DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。

当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,SQL队列用于运行SQL作业,通用队列兼容老版本的Spark队列,用于运行Spark作业和Flink作业。

  • SQL队列每隔12小时会自动重启一次。
  • 不支持不同类型队列直接转换,如需更换队列,请重新购买新的队列。
  • default队列是系统预置的默认队列,不需要单独删除。

计算资源和存储资源的区别

表1 计算资源和存储资源的区别

资源名称

获取方式

主要作用

计算资源

在DLI管理控制台创建队列。

执行查询。

存储资源

DLI服务自带5G配额。

存储数据库和DLI表。

  • 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
  • 存储资源无需创建,DLI默认提供5G配额。
  • DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
  • “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。

专属队列

专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。

队列弹性扩缩容

DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后,可根据需要进行弹性扩缩容。

根据业务情况,手动更改队列规格。具体操作请参考弹性扩缩容

新创建的队列需要运行作业后才可进行扩缩容。

队列弹性扩缩容定时任务

DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。

根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务

新创建的队列需要运行作业后才可进行扩缩容。

队列自动扩缩容

Flink作业使用队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。

新创建的队列需要运行作业后才可进行扩缩容。

队列管理页面

队列管理主要包括如下功能:

DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。

队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。

表2 队列管理参数

参数

参数说明

名称

队列的名称。

类型

队列的类型。

  • SQL队列
  • 通用队列
  • Spark队列(兼容老版本)

规格

队列大小,单位:CUs。

CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。

实际CUs

当前队列实际大小值。

弹性扩缩容

定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。

用户名

队列所有者。

企业项目

显示所建队列所属的企业项目。如果不属于企业项目,则显示“--”。

企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

说明:

只有开通了企业管理服务的用户才显示该参数。

描述

创建队列时,对队列的描述。如果无描述,则显示“--”。

操作

  • 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。
  • 权限管理:查看队列对应的用户权限信息以及对其他用户授权。
  • 更多
    • 重启:强制重启队列。
      说明:

      只有SQL队列有“重启”操作。

    • 分配至项目:修改所选队列所属的企业项目。
      说明:

      只有开通了企业管理服务的用户才显示该参数。

    • 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。
    • 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。
    • 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。

    • 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。