更新时间:2023-12-14 GMT+08:00
分享

队列管理概述

队列

DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。

当前DLI服务包括“SQL队列”和“通用队列”两种队列类型:

  • SQL队列用于运行SQL作业。
  • 通用队列用于运行Spark程序、Flink SQL、Flink Jar作业。

约束限制

  • DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。
  • 队列类型:
    • SQL类型队列:SQL队列支持提交Spark SQL作业。
    • 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。

    不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。

  • 不支持切换队列的计费模式。
  • 队列不支持切换区域。
  • 16CUs队列不支持扩容和缩容。
  • 64CUs队列不支持缩容。
  • 创建队列时,仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。
  • 新创建的队列需要运行作业后才可进行扩缩容。
  • DLI队列不支持访问公网。

    如有访问公网诉求请您参考配置DLI 队列与公网网络联通

计算资源和存储资源的区别

表1 计算资源和存储资源的区别

资源名称

获取方式

计费方式

主要作用

计算资源

在DLI管理控制台创建队列。

按扫描数据量或按CU时计费。

执行查询。

存储资源

DLI服务自带5G配额。

按存储数据量计费。

存储数据库和DLI表。

  • 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
  • 存储资源无需创建,DLI默认提供5G配额,若需要更大配额可提交工单申请。
  • DLI服务预置了名为“default”的队列,资源的大小是按需分配的。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
  • “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。

专属队列

专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。购买按需队列时可以选择专属队列。专属队列无论是否使用,24小时均收费。包年包月队列为专属队列。

跨AZ队列

可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。

DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单AZ不可用的情况下,持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。

DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源,例如,用户1需要1400CUs的计算资源,那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项,DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源,在一个AZ不可用的情况下,另外一个AZ可以正常的处理用户1的计算任务。

  • 目前仅支持包年包月队列和按需专属队列进行跨AZ双活,不支持普通按需队列和default队列。
  • 在购买队列时勾选跨AZ选项后,计费将为单AZ模式下的2倍。

包年包月队列规格变更

DLI提供了包年包月队列规格变更的功能。用户在创建包年包月队列后,可根据需要进行规格变更。目前只支持64CUs以上规格队列进行规格变更。

根据业务情况,手动更改队列规格。具体操作请参考规格变更。当前只支持包年包月队列的规格扩容/缩容,扩容/缩容后会进行收费或者退费,具体费用请参考页面提示。

新创建的队列需要运行作业后才可进行扩缩容。

按需队列弹性扩缩容

DLI提供了按需队列弹性扩缩容的功能。用户在创建指定规格按需队列后,可根据需要进行弹性扩缩容。

根据业务情况,手动更改队列规格。具体操作请参考弹性扩缩容。当前只支持按需队列的弹性扩缩容,扩容/缩容后仍然按需计费,即根据CU时计费。

新创建的队列需要运行作业后才可进行扩缩容。

队列弹性扩缩容定时任务

DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。

根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务
  • 按需队列扩容/缩容后仍然按需计费,即根据CU时计费。目前只支持64CU以上队列进行定时弹性扩缩容任务,即队列最小值为64CU。
  • 包年包月队列只支持弹性扩容定时任务,扩容根据“预付费 + 按需CU时”计费,即包年包月规格之外的资源按需计费。目前只支持64CUs以上包年包月队列进行定时弹性扩容任务。

新创建的队列需要运行作业后才可进行扩缩容。

队列自动扩缩容

Flink作业使用按需队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。

新创建的队列需要运行作业后才可进行扩缩容。

队列管理页面

队列管理主要包括如下功能:

DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。

队列管理页面显示用户创建所有的队列和服务预置的default队列,您可以查看队列容量、计费方式等信息。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。

表2 队列管理参数

参数

参数说明

名称

队列的名称。

类型

队列的类型。

  • SQL队列
  • 通用队列
  • Spark队列(兼容老版本)

规格

队列大小,单位:CUs。

  • 按需队列:购买按需队列时的队列大小。
  • 包年包月队列:购买包年包月队列时的队列大小。

CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。

实际CUs

当前队列实际大小值。

弹性扩缩容

定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。

计费模式

SQL作业有两种计费方式。

  • 按需计费

    按需计费有三种方式,三种方式是互斥的,可根据需要选择其中一种。

    • 按需/CU时:按照CU时收取计算费用。建议选择CU时套餐包。
    • 按需/SQL计算量:按照用户每个作业的数据扫描量收取计算费用。建议选择扫描量套餐包。
      说明:

      只有default队列按照数据扫描量收取计算费用,用户自定义队列均按照CU时收取计算费用。

    • 按需/专属资源模式:自创建起按照自然小时收取计算费用。该模式下可创建增强型跨源连接。
  • 包年包月:
    • 包年
    • 包月

用户名

队列所有者。

企业项目

显示所建队列所属的企业项目。如果不属于企业项目,则显示“--”。

企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。关于如何设置企业项目请参考《企业管理用户指南》。

说明:

只有开通了企业管理服务的用户才显示该参数。

描述

创建队列时,对队列的描述。如果无描述,则显示“--”。

操作

  • 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。
    说明:

    只有按需计费可以删除队列。

  • 权限管理:查看队列对应的用户权限信息以及对其他用户授权。
  • 更多
    • 重启:强制重启队列。
      说明:

      只有SQL队列有“重启”操作。

    • 分配至项目:修改所选队列所属的企业项目。
      说明:

      只有开通了企业管理服务的用户才显示该参数。关于如何设置企业项目请参考《企业管理用户指南》。

    • 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。
      说明:

      只有“按需/CU时”和“按需/专属资源模式”计费队列可以进行弹性扩缩容。

    • 规格变更:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。
      说明:

      只有“包年包月”计费队列可以进行规格变更。

    • 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。
    • 续费/退订:根据需要选择续费或者退订。
      说明:

      只有包年包月计费有“续费/退订”操作。

    • 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。

      建议使用网段:

      10.0.0.0~10.255.0.0/8~24

      172.16.0.0~172.31.0.0/12~24

      192.168.0.0~192.168.0.0/16~24
      说明:

      只有包年包月队列可以修改网段。

    • 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。
    • 标签:添加、编辑或删除标签。
分享:

    相关文档

    相关产品