更新时间:2024-07-18 GMT+08:00

队列属性设置

操作场景

DLI支持在队列创建完成后设置队列的属性。

当前支持设置队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。

本节操作介绍在管理控制台设置队列属性的操作步骤。

约束与限制

  • 仅Spark引擎的SQL队列支持配置队列属性。
  • 仅在队列创建完成后支持设置队列属性。
  • 当前仅支持设置Spark driver相关队列属性。
  • 不支持批量设置队列属性。
  • 弹性资源池中的队列,当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。

设置队列属性操作步骤

  1. 在DLI管理控制台的左侧导航栏中,单击资源管理 > 队列管理
  2. 在对应队列的“操作”列,选择“更多 > 属性设置”。
  3. 进入队列属性设置页面,设置对应的属性值。属性值相参数说明请参考表1
    表1 队列属性

    属性名称

    说明

    取值范围

    最大spark driver实例数

    队列能启动的最大spark driver数量。包含预先启动的spark driver和运行作业的spark driver。

    • 当队列为16CUs时范围:2
    • 当队列大于16CUs时范围:2-(CU数/16)
    • 队列最小CUs小于16CUs时,该配置项不生效。

    最大预拉起spark driver实例数

    队列预先启动的最大spark driver数量。当运行作业的spark driver任务数超过“单spark driver实例最大并发数”的值时,作业将会分配到预先启动的spark driver上面。

    • 当队列为16CUs时范围:0-1
    • 当队列大于16CUs时范围:2-(CU数/16)
    • 队列最小CUs小于16CUs时,该配置项不生效。

    单spark driver实例最大并发数

    单个spark driver能同时运行的最大任务数量。当任务超过此值时,作业将会分配给其它spark driver运行。

    1-32

  4. 单击“确定”完成队列属性的设置。