# Spark Job作业提交
#### 功能说明
本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。
#### 前提条件
- 使用的计算资源和端点为可用状态。
- API和SQL作业相关权限已配置，权限详情请参见[权限及授权项说明](https://support.huaweicloud.com/api-aidatalake/aidatalake_02_0021.html)。
 
#### 函数
- SparkJarJob
  ```
  # 同步提交函数
  submit();
  # 异步提交函数
  asyncSubmit();
  ```
  
 
- SparkSqlScriptingJob
  ```
  # 同步提交函数
  submit();
  # 异步提交函数
  asyncSubmit();
  ```
  

- SparkPythonJob
  ```
  # 同步提交函数
  submit();
  # 异步提交函数
  asyncSubmit();
  ```
  
#### 样例代码
- 同步提交SparkJar作业
  ```
  public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
      String jobName = "JOB_NAME";
      String endpointName = "ENDPOINT_NAME";
      String catalogName = "CATALOG_NAME";
      // set spark configs
      Map<String, String> config = new HashMap<>();
      config.put("key", "value");
      SparkJarJob sparkJob = sparkJobClient.newSparkJarJobBuilder(jobName, "com.example.Main", "obs://app.jar")
                       .endpointName(endpointName)
                       .jobAgency("agency")
                       .catalogName(catalogName)
                       .mainArgs(Arrays.asList("arg1"))
                       .dependencyJars(Arrays.asList("obs://lib.jar"))
                       .sparkConfig(config)
                       .driverCpu(2000)
                       .driverMemory(4096)
                       .executorCpu(4000)
                       .executorMemory(8192)
                       .executorNumber(4)
                       .build();
      sparkJob.submit();
  }
  ```
  表1参数详情 
  | 参数              | 必须配置 | 默认值 | 描述                                                                                                                 |
  |:---|:---|:---|:---|
  | catalogName       | 否    | 无    | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | endpointName   | 是    | 无    | SparkSQL端点名称。                                                                                                       |
  | mainArgs        | 否       | 无    | 主类Main参数                                                                                                            |
  | dependencyJars  | 否    | 无      | 依赖的Jars                                                                                                              |
  | jobAgency        | 否      | 无      | 作业IAM委托，用户访问OBS或Lakeformation。                                                                                     |
  | sparkConfig      | 否   | 无   | Spark参数。                                                                                                            |
  | driverCpu     | 否     | 无     | Driver POD豪核数。                                                                                                       |
  | driverMemory    | 否   | 无     | Driver POD内存MB。                                                                                                      |
  | executorCpu     | 否     | 无   | Executor POD豪核数。                                                                                                       |
  | executorMemory  | 否    | 无     | Executor POD内存MB。                                                                                                   |
  | executorNumber | 否  | 无   | Executor实例个数。                                                                                                        |
     
  

- 异步提交SparkSqlScript作业
  ```
  public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
      String jobName = "JOB_NAME";
      String endpointName = "ENDPOINT_NAME";
      String catalogName = "CATALOG_NAME";
      // set spark configs
      Map<String, String> config = new HashMap<>();
      config.put("key", "value");
      SparkSqlScriptingJob sparkScriptingJob = sparkJobClient.newSparkSqlScriptingJobBuilder(jobName)
                       .endpointName(endpointName)
                       .sqlScriptingFileUri("obs://xxx")
                       .catalogName(catalogName)
                       .jobAgency("agency")
                       .sparkConfig(config)
                       .driverCpu(2000)
                       .driverMemory(4096)
                       .executorCpu(4000)
                       .executorMemory(8192)
                       .executorNumber(4)
                       .sqlScriptingResultToObs(true)
                       .build();
      sparkJob.asyncSubmit();
  }
  ```
  表2参数详情 
  | 参数                  | 必须配置 | 默认值 | 描述                                                                                                                      |
  |:---|:---|:---|:---|
  | catalogName         | 否    | 无  | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | endpointName       | 是     | 无  | SparkSQL端点名称。                                                                                                         |
  | jobAgency            | 否     | 无    | 作业IAM委托，用户访问OBS或Lakeformation。                                                                                          |
  | sqlScriptingFileUri | 是     | 无   | SqlScripting OBS脚本路径。                                                                                                  |
  | sparkConfig         | 否     | 无    | Spark参数。                                                                                                              |
  | driverCpu           | 否    | 无    | Driver POD豪核数。                                                                                                           |
  | driverMemory       | 否   | 无   | Driver POD内存MB。                                                                                                       |
  | executorCpu        | 否   | 无    | Executor POD豪核数。                                                                                                       |
  | executorMemory   | 否  | 无  | Executor POD内存MB。                                                                                                      |
  | executorNumber    | 否   | 无     | Executor实例个数。                                                                                                           |
     
  
  
- 同步提交SparkPython作业
  ```
  public static void submit(AIDataLakeSparkJobClient sparkJobClient) throws AIDataLakeException {
      String jobName = "JOB_NAME";
      String endpointName = "ENDPOINT_NAME";
      String catalogName = "CATALOG_NAME";
      return sparkJobClient.newSparkPythonJobBuilder(jobName, "obs://xxx/job.py")
              .endpointName(endpointName)
              .catalogName(catalogName)
              .jobAgency("agency")
              .sparkConfig(config)
              .driverCpu(1000)
              .driverMemory(1024)
              .driverDisk(20)
              .executorCpu(1000)
              .executorMemory(1024)
              .build();
      sparkJob.submit();
  }
  ```
  表3参数详情 
  | 参数                | 必须配置 | 默认值 | 描述                                                                                                                 |
  |:---|:---|:---|:---|
  | catalogName      | 否        | 无  | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | endpointName    | 是      | 无  | SparkSQL端点名称。                                                                                                       |
  | jobAgency         | 否      | 无 | 作业IAM委托，用户访问OBS/Lakeformation                                                                                     |
  | sparkConfig       | 否     | 无   | Spark参数                                                                                                           |
  | driverCpu         | 否     | 无  | Driver POD豪核数                                                                                                      |
  | driverMemory    | 否      | 无   | Driver POD 内存MB                                                                                                      |
  | executorCpu      | 否       | 无  | Executor POD豪核数                                                                                                     |
  | executorMemory | 否      | 无   | Executor POD 内存MB                                                                                                     |
  | executorNumber | 否    | 无  | Executor实例个数                                                                                                        |
     
  
 
