更新时间:2024-04-19 GMT+08:00

创建队列

执行作业前需要先创建队列。

  • 用户首次使用子账号创建队列时,需要先使用用主账号登录控制台,在DLI的数据库中保持记录,才能创建队列。
  • 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。
  • 队列创建完成后,如果在1小时内未运行作业,系统将进行释放。
  • 16CUs队列不支持扩容和缩容。
  • 64CUs队列不支持缩容。

创建队列步骤

  1. 创建队列的操作入口有三个,分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。
    • 单击总览页面右上角“购买队列”进行创建队列。
    • “队列管理”页面创建队列。
      1. 在DLI管理控制台的左侧导航栏中,选择“资源管理 > 队列管理”
      2. 单击“队列管理”页面右上角“购买队列”进行创建队列。
    • “SQL编辑器”页面创建队列。
      1. 在DLI管理控制台的左侧导航栏中,选择“SQL编辑器”
      2. 单击“队列”切换到该页签,单击右侧的创建队列。
  2. 在“购买队列”页面,参见表1设置相关参数。
    表1 参数说明

    参数名称

    描述

    计费模式

    按需计费。CU时资费=CU数*使用时长*单价。使用时长按自然小时计费,不足一个小时按一个小时计费,不使用不计费。建议购买“CU时套餐包”享受优惠。

    区域

    选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。

    项目

    每个区域默认对应一个项目,这个项目由系统预置。

    名称

    队列的名称。

    • 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。
    • 输入长度不能超过128个字符。
    说明:

    队列名称不区分大小写,系统会自动转换为小写。

    类型

    • SQL队列:SQL作业的计算资源。
    • 通用队列:Spark作业 、Flink作业的计算资源。
      说明:

      按需计费时,勾选“专属资源模式”可创建专属队列。仅专属队列支持创建增强型跨源。专属队列自创建起按自然小时收费。

    AZ策略

    队列类型勾选了“专属资源模式”后显示。

    采用双AZ策略创建的队列,当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可用性要求较高的场景。

    说明:
    • 当前只有专属资源模式SQL队列支持双AZ策略。
    • 双AZ能提高您的数据可用性,同时会采用双倍的计费标准。
    • 双AZ属性一旦启用,后续无法修改。

    规格

    队列规格指的是计算节点所有CU数的总和,1CU=1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小,具体计算节点个数客户端不感知。

    企业项目

    如果所建队列属于企业项目,可选择对应的企业项目。

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

    关于如何设置企业项目请参考《企业管理用户指南》。

    说明:

    只有开通了企业管理服务的用户才显示该参数。

    描述

    所创建队列的相应描述。输入长度不能超过128个字符。

    高级选项

    “队列类型”中,勾选了“专属资源模式”后,需要选择“高级选项”。
    • 默认配置:由系统自动配置。
    • 自定义配置:

      “网段”:支持指定使用的网段范围,请参考修改队列网段。如需使用DLI增强型跨源,DLI队列网段与数据源网段不能重合。

      建议使用网段:

      10.0.0.0~10.255.0.0/8~24

      172.16.0.0~172.31.0.0/12~24

      192.168.0.0~192.168.0.0/16~24

      “队列特性”:运行AI相关SQL作业时选择“AI增强型”队列,运行其他作业时选择“基础型”队列。

    标签

    使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。

    如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。

    具体请参考《标签管理服务用户指南》。

    说明:
    • 最多支持20个标签。
    • 一个“键”只能添加一个“值”。
    • 每个资源中的键名不能重复。
    • 标签键:在输入框中输入标签键名称。
      说明:

      标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。

    • 标签值:在输入框中输入标签值。
      说明:

      标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。

  3. 单击“立即购买”,确认配置。

    第一次创建队列时,需要勾选“同意以上隐私协议”并确定。

  4. 配置确认无误,单击“提交”完成队列创建。

    如果队列名称已存在,单击“提交”时,系统会提示“Queue xxx already exists”错误,可返回“上一步”进行修改。

  5. 队列创建成功后,您可以在“队列管理”页面面查看和选择使用对应的队列。

    新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。