设置SparkSQL隔离级别
当多个用户或团队共用同一个Spark端点时,默认所有Spark SQL作业运行在同一个Spark集群上,资源相互争抢。通过设置隔离级别,可将不同用户、项目或流水线的作业分配到各自独立的Spark集群运行,避免互相干扰。适用多用户共用端点、生产与开发共用端点、多流水线共用端点等场景。
使用须知
- 隔离级别参数为可选参数,不设置时默认为ENDPOINT,整个端点共享Spark集群,与现有行为一致。
- 仅支持JOB、USER、ENDPOINT、PIPELINE四种取值,其他值回退到ENDPOINT。
- 不同隔离级别在资源复用度与隔离程度间存在差异:JOB级隔离最彻底但资源复用度低,ENDPOINT级复用度最高但隔离最弱。
设置Spark SQL隔离级别
通过API提交Spark SQL作业时,在spark_config参数中设置spark.sql.aidatalake.job.shareLevel指定隔离级别。
API请求示例如下:
POST /v1/endpoints/{endpointId}/spark-sql
{
"spark_config": {
"spark.sql.aidatalake.job.shareLevel": "USER"
}
} 参数说明如下表所示。
| 参数 | 说明 | 示例 |
|---|---|---|
| endpointId | 端点ID,即Spark端点的唯一标识。 | 5b6cfcc9-****-9a24-201f5c59a58c |
| spark_config | Spark配置参数,以key-value形式传递。通过优先级参数设置作业优先级。 | - |
| spark_config.spark.sql.aidatalake.job.shareLevel | 集群资源隔离粒度,默认为ENDPOINT。取值说明如下:
仅支持以上四种取值,其他值回退到ENDPOINT。 | USER |
| spark_config.spark.sql.aidatalake.job.pipelineJobId | 流水线标识,仅PIPELINE隔离级别下生效。未配置时共用默认流水线资源(all-pipeline)。 | pipeline-001 |