更新时间:2026-11-13 GMT+08:00
分享

概述

批处理引擎Spark支持Spark SQL、Spark JAR和Spark Python三类作业,作业开发完成后,通过连接Spark端点提交运行。本章节介绍三类作业的连接提交流程、连接方式与作业调优入口。

前提条件

  • 已创建计算资源池和Spark引擎端点。如需了解端点的创建与配置,请参见创建Spark引擎端点。
  • 已获取工作空间ID:登录AI DataLake管理控制台,在“工作空间管理”页面找到目标工作空间ID。
  • 已获取Spark端点名称(endpoint_name):登录AI DataLake管理控制台,在“引擎端点”下的“批处理引擎Spark”页面找到目标Spark端点名称。
  • 已根据作业类型编写对应的作业文件并上传至OBS桶,记录其OBS路径(Spark SQL交互式作业无需上传)。

连接方式

AI DataLake支持以下方式连接Spark端点并提交作业,您可根据使用场景选择:

表1 连接方式说明

连接方式

说明

支持作业类型

操作文档

API

提供标准RESTful API,适用于第三方系统集成、自动化脚本、CI/CD流水线,支持多语言调用。

Spark SQL / JAR / Python

通过API方式连接Spark端点并提交作业

JDBC

提供标准JDBC接口,适用于通过JDBC工具或Java程序连接SparkSQL执行查询。

Spark SQL

通过JDBC连接SparkSQL端点并提交作业

SDK

提供Python和Java两种语言的SDK,对AIDataLake服务提供的Spark API进行封装,简化用户开发工作。

通过调用SDK接口函数即可提交Spark SQL和Spark Job作业、查询库表元数据,适用于在应用程序中集成Spark作业提交与管理的场景。

Spark SQL / JAR / Python

Spark Connect

Spark 3.4引入的客户端-服务端架构,通过gRPC协议从远程客户端连接Spark驱动程序,使用DataFrame API和SQL进行交互式数据分析,无需本地安装完整Spark环境。

Spark SQL(交互式)

通过Spark Connect提交作业

提交作业

根据作业类型,选择对应的提交方式:

作业调优与进阶

在作业运行过程中,您可结合业务需求进行作业调优。相关高阶能力如下:

表2 高阶能力说明

高阶能力

说明

参考文档

查看作业性能指标

通过Query Profile等查看作业执行性能,定位瓶颈。

查看作业性能指标

Spark Native算子优化

基于原生算子的执行优化,提升作业性能。

Spark Native算子优化

设置Spark作业优先级

指定作业优先级(1~9),高优先级作业优先获得资源调度。

设置Spark作业优先级

设置SparkSQL隔离级别

配置Spark SQL集群多级隔离(JOB/USER/PROJECT/ENDPOINT/PIPELINE),平衡资源复用与作业隔离。

设置SparkSQL隔离级别

相关文档