文档首页/ 数据湖探索 DLI/ 用户指南/ 创建弹性资源池和队列/ 创建非弹性资源池队列（废弃，不推荐使用）
更新时间：2024-11-07 GMT+08:00
查看PDF
分享

创建非弹性资源池队列（废弃，不推荐使用）

非弹性资源池模式的队列是DLI的上一代计算资源管理方式，按使用需求购买和释放资源，需要预先估计资源使用需求再进行购买。

优先推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。

  • 用户首次使用子账号创建队列时，需要先使用主账号登录控制台，在DLI的数据库中保持记录，才能创建队列。
  • 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。
  • 按需队列创建完成后，如果在1小时内未运行作业，系统将进行释放。
  • 按需队列与包年/包月队列不能互相转换，如需使用包年/包月队列，直接购买即可。
  • 16CUs队列不支持扩容和缩容。
  • 64CUs队列不支持缩容。

约束限制

  • DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。
  • 队列类型：
    • SQL类型队列：SQL队列支持提交Spark SQL作业。
    • 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。

    不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。

  • 不支持切换队列的计费模式。
  • 队列不支持切换区域。
  • 16CUs队列不支持扩容和缩容。
  • 64CUs队列不支持缩容。
  • 创建队列时，仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。
  • 新创建的队列需要运行作业后才可进行扩缩容。
  • DLI队列不支持访问公网。

创建队列步骤

  1. 创建队列的操作入口有三个，分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。
    • 单击总览页面右上角“购买队列”进行创建队列。
    • 在“队列管理”页面创建队列。
      1. 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。
      2. 单击“队列管理”页面右上角“购买队列”进行创建队列。
    • 在“SQL编辑器”页面创建队列。
      1. 在DLI管理控制台的左侧导航栏中，选择“SQL编辑器”。
      2. 单击“队列”切换到该页签，单击右侧的创建队列。
  2. 在“购买队列”页面，参见表1设置相关参数。
    表1 参数说明

    参数名称

    描述

    计费模式
    • 包年/包月

      该计费模式的队列为专属队列。

    • 按需计费：建议购买cu时套餐包享受优惠。

    区域

    选择所在的区域。不同区域的云服务之间内网互不相通；请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。

    项目

    每个区域默认对应一个项目，这个项目由系统预置。

    名称

    队列的名称。

    • 只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。
    • 输入长度不能超过128个字符。
    说明：

    队列名称不区分大小写，系统会自动转换为小写。

    类型
    • SQL队列：SQL作业的计算资源。
    • 通用队列：Spark作业 、Flink作业的计算资源。
      说明：

      专属队列是指队列对应的资源为专属资源，空闲时不释放，即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。专属队列支持创建增强型跨源。

      购买按需队列时可以选择专属队列。专属队列无论是否使用，24小时均收费。包年包月队列为专属队列。

    AZ策略

    采用双AZ策略创建的队列，当某个AZ不可用时，仍然能够从其他AZ正常访问数据，适用于对可用性要求较高的场景。

    说明：
    • 当前包年/包月计费模式和按需计费专属资源模式支持双AZ策略。
    • 双AZ能提高您的数据可用性。
    • 双AZ属性一旦启用，后续无法修改。

    CPU架构
    • X86
    • 鲲鹏

    规格

    队列规格指的是计算节点所有CU数的总和，1CU=1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小，具体计算节点个数客户端不感知。

    选择“包年/包月”计费模式时，可选择“固定规格”，也可以“自定义规格”。“按需计费”只支持选择固定规格。

    请按需选择队列规格。队列规格指的是计算节点所有CU数的总和，DLI系统会自动分配各计算节点的内存和CPU大小，具体计算节点个数客户端不感知。
    • 固定规格包括“16CUs”、“64CUs”、“256CUs”、“512CUs”。
    • 自定义规格可以选择“128CUs”、“192CUs”、“256CUs”、“320CUs”、“384CUs”等“64CUs”的倍数。
      说明：
      • 当剩余CU配额小于上述规格时，则不能创建队列。
      • 如果需要购买其他规格的队列，则可以先创建上述某一规格队列后，通过如下操作实现：

        “包年/包月”队列：则可以通过变更普通队列规格操作来实现。

        “按需计费”队列：则可以通过普通队列弹性扩缩容操作来实现。

    购买时长

    选择“包年/包月”计费模式时，需要选择“购买时长”。购买时长越长，优惠越多。可勾选“自动续费”，按月购买，自动续费周期为1个月。按年购买，自动续费周期为1年。

    企业项目

    如果所建队列属于企业项目，可选择对应的企业项目。

    企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。

    关于如何设置企业项目请参考《企业管理用户指南》。

    说明：

    只有开通了企业管理服务的用户才显示该参数。

    描述

    所创建队列的相应描述。输入长度不能超过128个字符。

    高级选项

    仅在选择“包年/包月”计费模式，或在“按需计费”模式中，勾选“专属资源模式”时，支持配置“高级配置”。

    在“队列类型”中，勾选了“专属资源模式”后，需要选择“高级选项”。
    • 默认配置：由系统自动配置。
    • 自定义配置：

      “网段”：支持指定使用的网段范围。如需使用DLI增强型跨源，DLI队列网段与数据源网段不能重合。

      建议使用网段：

      10.0.0.0~10.255.0.0/8~24

      172.16.0.0~172.31.0.0/12~24

      192.168.0.0~192.168.0.0/16~24

      “队列特性”：运行AI相关SQL作业时选择“AI增强型”队列，运行其他作业时选择“基础型”队列。

    标签

    使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。

    如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。

    具体请参考《标签管理服务用户指南》。

    说明：
    • 最多支持20个标签。
    • 一个“键”只能添加一个“值”。
    • 每个资源中的键名不能重复。
    • 标签键：在输入框中输入标签键名称。
      说明：

      标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。

    • 标签值：在输入框中输入标签值。
      说明：

      标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
  3. 单击“立即购买”，确认配置。

    第一次创建队列时，需要勾选“同意以上隐私协议”并确定。

  4. 配置确认无误，单击“提交”完成队列创建。

    如果队列名称已存在，单击“提交”时，系统会提示“Queue xxx already exists”错误，可返回“上一步”进行修改。

  5. 队列创建成功后，您可以在“队列管理”页面查看和选择使用对应的队列。

    新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。

相关文档