Spark Job作业提交
功能说明
本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。
前提条件
- 使用的计算资源和端点为可用状态。
- API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
函数
- SparkJarJob
# 同步提交函数 submit(); # 异步提交函数 asyncSubmit();
- SparkSqlScriptingJob
# 同步提交函数 submit(); # 异步提交函数 asyncSubmit();
- SparkPythonJob
# 同步提交函数 submit(); # 异步提交函数 asyncSubmit();
样例代码
- 同步提交SparkJar作业
public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException { String jobName = "JOB_NAME"; String endpointName = "ENDPOINT_NAME"; String catalogName = "CATALOG_NAME"; // set spark configs Map<String, String> config = new HashMap<>(); config.put("key", "value"); SparkJarJob sparkJob = sparkJobClient.newSparkJarJobBuilder(jobName, "com.example.Main", "obs://app.jar") .endpointName(endpointName) .jobAgency("agency") .catalogName(catalogName) .mainArgs(Arrays.asList("arg1")) .dependencyJars(Arrays.asList("obs://lib.jar")) .sparkConfig(config) .driverCpu(2000) .driverMemory(4096) .executorCpu(4000) .executorMemory(8192) .executorNumber(4) .build(); sparkJob.submit(); }表1 参数详情 参数
必须配置
默认值
描述
catalogName
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
endpointName
是
无
SparkSQL端点名称。
mainArgs
否
无
主类Main参数
dependencyJars
否
无
依赖的Jars
jobAgency
否
无
作业IAM委托,用户访问OBS或Lakeformation。
sparkConfig
否
无
Spark参数。
driverCpu
否
无
Driver POD豪核数。
driverMemory
否
无
Driver POD内存MB。
executorCpu
否
无
Executor POD豪核数。
executorMemory
否
无
Executor POD内存MB。
executorNumber
否
无
Executor实例个数。
- 异步提交SparkSqlScript作业
public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException { String jobName = "JOB_NAME"; String endpointName = "ENDPOINT_NAME"; String catalogName = "CATALOG_NAME"; // set spark configs Map<String, String> config = new HashMap<>(); config.put("key", "value"); SparkSqlScriptingJob sparkScriptingJob = sparkJobClient.newSparkSqlScriptingJobBuilder(jobName) .endpointName(endpointName) .sqlScriptingFileUri("obs://xxx") .catalogName(catalogName) .jobAgency("agency") .sparkConfig(config) .driverCpu(2000) .driverMemory(4096) .executorCpu(4000) .executorMemory(8192) .executorNumber(4) .sqlScriptingResultToObs(true) .build(); sparkJob.asyncSubmit(); }表2 参数详情 参数
必须配置
默认值
描述
catalogName
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
endpointName
是
无
SparkSQL端点名称。
jobAgency
否
无
作业IAM委托,用户访问OBS或Lakeformation。
sqlScriptingFileUri
是
无
SqlScripting OBS脚本路径。
sparkConfig
否
无
Spark参数。
driverCpu
否
无
Driver POD豪核数。
driverMemory
否
无
Driver POD内存MB。
executorCpu
否
无
Executor POD豪核数。
executorMemory
否
无
Executor POD内存MB。
executorNumber
否
无
Executor实例个数。
- 同步提交SparkPython作业
public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException { String jobName = "JOB_NAME"; String endpointName = "ENDPOINT_NAME"; String catalogName = "CATALOG_NAME"; return sparkJobClient.newSparkPythonJobBuilder(jobName, "obs://xxx/job.py") .endpointName(endpointName) .catalogName(catalogName) .jobAgency("agency") .sparkConfig(config) .driverCpu(1000) .driverMemory(1024) .driverDisk(20) .executorCpu(1000) .executorMemory(1024) .build(); sparkJob.submit(); }表3 参数详情 参数
必须配置
默认值
描述
catalogName
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
endpointName
是
无
SparkSQL端点名称。
jobAgency
否
无
作业IAM委托,用户访问OBS/Lakeformation
sparkConfig
否
无
Spark参数
driverCpu
否
无
Driver POD豪核数
driverMemory
否
无
Driver POD 内存MB
executorCpu
否
无
Executor POD豪核数
executorMemory
否
无
Executor POD 内存MB
executorNumber
否
无
Executor实例个数