更新时间:2026-11-03 GMT+08:00
分享

Spark Job作业提交

功能说明

本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。

前提条件

  • 使用的计算资源和端点为可用状态。
  • API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。

函数

  • SparkJarJob
    # 同步提交函数
    submit();
    
    # 异步提交函数
    asyncSubmit();
  • SparkSqlScriptingJob
    # 同步提交函数
    submit();
    
    # 异步提交函数
    asyncSubmit();
  • SparkPythonJob
    # 同步提交函数
    submit();
    
    # 异步提交函数
    asyncSubmit();

样例代码

  • 同步提交SparkJar作业
    public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
        String jobName = "JOB_NAME";
        String endpointName = "ENDPOINT_NAME";
        String catalogName = "CATALOG_NAME";
        // set spark configs
        Map<String, String> config = new HashMap<>();
        config.put("key", "value");
    
        SparkJarJob sparkJob = sparkJobClient.newSparkJarJobBuilder(jobName, "com.example.Main", "obs://app.jar")
                         .endpointName(endpointName)
                         .jobAgency("agency")
                         .catalogName(catalogName)
                         .mainArgs(Arrays.asList("arg1"))
                         .dependencyJars(Arrays.asList("obs://lib.jar"))
                         .sparkConfig(config)
                         .driverCpu(2000)
                         .driverMemory(4096)
                         .executorCpu(4000)
                         .executorMemory(8192)
                         .executorNumber(4)
                         .build();
        sparkJob.submit();
    }
    表1 参数详情

    参数

    必须配置

    默认值

    描述

    catalogName

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    endpointName

    是

    无

    SparkSQL端点名称。

    mainArgs

    否

    无

    主类Main参数

    dependencyJars

    否

    无

    依赖的Jars

    jobAgency

    否

    无

    作业IAM委托,用户访问OBS或Lakeformation。

    sparkConfig

    否

    无

    Spark参数。

    driverCpu

    否

    无

    Driver POD豪核数。

    driverMemory

    否

    无

    Driver POD内存MB。

    executorCpu

    否

    无

    Executor POD豪核数。

    executorMemory

    否

    无

    Executor POD内存MB。

    executorNumber

    否

    无

    Executor实例个数。

  • 异步提交SparkSqlScript作业
    public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
        String jobName = "JOB_NAME";
        String endpointName = "ENDPOINT_NAME";
        String catalogName = "CATALOG_NAME";
        // set spark configs
        Map<String, String> config = new HashMap<>();
        config.put("key", "value");
    
        SparkSqlScriptingJob sparkScriptingJob = sparkJobClient.newSparkSqlScriptingJobBuilder(jobName)
                         .endpointName(endpointName)
                         .sqlScriptingFileUri("obs://xxx")
                         .catalogName(catalogName)
                         .jobAgency("agency")
                         .sparkConfig(config)
                         .driverCpu(2000)
                         .driverMemory(4096)
                         .executorCpu(4000)
                         .executorMemory(8192)
                         .executorNumber(4)
                         .sqlScriptingResultToObs(true)
                         .build();
        sparkJob.asyncSubmit();
    }
    表2 参数详情

    参数

    必须配置

    默认值

    描述

    catalogName

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    endpointName

    是

    无

    SparkSQL端点名称。

    jobAgency

    否

    无

    作业IAM委托,用户访问OBS或Lakeformation。

    sqlScriptingFileUri

    是

    无

    SqlScripting OBS脚本路径。

    sparkConfig

    否

    无

    Spark参数。

    driverCpu

    否

    无

    Driver POD豪核数。

    driverMemory

    否

    无

    Driver POD内存MB。

    executorCpu

    否

    无

    Executor POD豪核数。

    executorMemory

    否

    无

    Executor POD内存MB。

    executorNumber

    否

    无

    Executor实例个数。

  • 同步提交SparkPython作业
    public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
        String jobName = "JOB_NAME";
        String endpointName = "ENDPOINT_NAME";
        String catalogName = "CATALOG_NAME";
    
        return sparkJobClient.newSparkPythonJobBuilder(jobName, "obs://xxx/job.py")
                .endpointName(endpointName)
                .catalogName(catalogName)
                .jobAgency("agency")
                .sparkConfig(config)
                .driverCpu(1000)
                .driverMemory(1024)
                .driverDisk(20)
                .executorCpu(1000)
                .executorMemory(1024)
                .build();
        sparkJob.submit();
    }
    表3 参数详情

    参数

    必须配置

    默认值

    描述

    catalogName

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    endpointName

    是

    无

    SparkSQL端点名称。

    jobAgency

    否

    无

    作业IAM委托,用户访问OBS/Lakeformation

    sparkConfig

    否

    无

    Spark参数

    driverCpu

    否

    无

    Driver POD豪核数

    driverMemory

    否

    无

    Driver POD 内存MB

    executorCpu

    否

    无

    Executor POD豪核数

    executorMemory

    否

    无

    Executor POD 内存MB

    executorNumber

    否

    无

    Executor实例个数

相关文档