队列属性设置
操作场景
DLI支持在队列创建完成后设置队列的属性。
当前支持设置队列的Spark driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。
本节操作介绍在管理控制台设置队列属性的操作步骤。
约束与限制
- 仅Spark引擎的SQL队列支持配置队列属性。
- 仅在队列创建完成后支持设置队列属性。
- 当前仅支持设置Spark driver相关队列属性。
- 不支持批量设置队列属性。
- 弹性资源池中的队列,当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。
设置队列属性操作步骤
- 在DLI管理控制台的左侧导航栏中,单击 。
- 在对应队列的“操作”列,选择“更多 > 属性设置”。
- 进入队列属性设置页面,设置对应的属性值。属性值相关参数说明请参考表1
表1 队列属性 属性名称
说明
取值范围
最大spark driver实例数
队列能启动的最大spark driver数量。包含预先启动的spark driver和运行作业的spark driver。
- 当队列为16CUs时范围:2
- 当队列大于16CUs时范围:2-(CU数/16)
- 队列最小CUs小于16CUs时,该配置项不生效。
最大预拉起spark driver实例数
队列预先启动的最大spark driver数量。当运行作业的spark driver任务数超过“单spark driver实例最大并发数”的值时,作业将会分配到预先启动的spark driver上面。
- 当队列为16CUs时范围:0-1
- 当队列大于16CUs时范围:2-(CU数/16)
- 队列最小CUs小于16CUs时,该配置项不生效。
单spark driver实例最大并发数
单个spark driver能同时运行的最大任务数量。当任务超过此值时,作业将会分配给其它spark driver运行。
1-32
- 单击“确定”完成队列属性的设置。