更新时间:2026-11-13 GMT+08:00
分享

设置SparkSQL隔离级别

当多个用户或团队共用同一个Spark端点时,默认所有Spark SQL作业运行在同一个Spark集群上,资源相互争抢。通过设置隔离级别,可将不同用户、项目或流水线的作业分配到各自独立的Spark集群运行,避免互相干扰。适用多用户共用端点、生产与开发共用端点、多流水线共用端点等场景。

使用须知

  • 隔离级别参数为可选参数,不设置时默认为ENDPOINT,整个端点共享Spark集群,与现有行为一致。
  • 仅支持JOB、USER、ENDPOINT、PIPELINE四种取值,其他值回退到ENDPOINT。
  • 不同隔离级别在资源复用度与隔离程度间存在差异:JOB级隔离最彻底但资源复用度低,ENDPOINT级复用度最高但隔离最弱。

设置Spark SQL隔离级别

通过API提交Spark SQL作业时,在spark_config参数中设置spark.sql.aidatalake.job.shareLevel指定隔离级别。

API请求示例如下:

POST /v1/endpoints/{endpointId}/spark-sql

{
  "spark_config": {
    "spark.sql.aidatalake.job.shareLevel": "USER"
  }
}

参数说明如下表所示。

表1 参数说明

参数

说明

示例

endpointId

端点ID,即Spark端点的唯一标识。

5b6cfcc9-****-9a24-201f5c59a58c

spark_config

Spark配置参数,以key-value形式传递。通过优先级参数设置作业优先级。

-

spark_config.spark.sql.aidatalake.job.shareLevel

集群资源隔离粒度,默认为ENDPOINT。取值说明如下:

  • JOB:每个作业独立Spark集群。
  • USER:每个用户独立Spark集群。
  • ENDPOINT:整个端点共享Spark集群(默认)。
  • PIPELINE:每个流水线独立Spark集群。

仅支持以上四种取值,其他值回退到ENDPOINT。

USER

spark_config.spark.sql.aidatalake.job.pipelineJobId

流水线标识,仅PIPELINE隔离级别下生效。未配置时共用默认流水线资源(all-pipeline)。

pipeline-001

相关文档