# Spark Job作业提交
#### 功能说明
本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。
#### 前提条件
- 已完成配置Python SDK环境并完成了初始化，详情请参见[Spark SDK获取与初始化](https://support.huaweicloud.com/sdkreference-aidatalake/aidatalake_09_0050.html)。
- API和SQL作业相关权限已配置，权限详情请参见[权限及授权项说明](https://support.huaweicloud.com/api-aidatalake/aidatalake_02_0021.html)。
- 使用的计算资源和端点为可用状态。
 
#### 函数
- SparkJarJob
  ```
  # 同步提交函数
  submit_and_wait();
  # 异步提交函数
  submit();
  ```
  
 
- SparkPythonJob
  ```
  # 同步提交函数
  submit_and_wait();
  # 异步提交函数
  submit();
  ```
  

- SparkSqlScriptingJob
  ```
  # 同步提交函数
  submit_and_wait();
  # 异步提交函数
  submit();
  ```
  
#### 样例代码
- spark_jar_job类型作业
  ```
  try:
      jar_job = client.new_jar_job_builder(
          "test-jar-job",
          "org.example.WordCount",
          "obs://obs-bucket/spark-jar-test-1.0-SNAPSHOT.jar",
      ) \
          .endpoint_name("endpoint_name") \
          .catalog_name("catalog_name") \
          .main_args(["500000"]) \
          .job_agency("job_agency") \
          .driver_cpu(1000).driver_memory(4096) \
          .executor_cpu(1000).executor_memory(4096) \
          .executor_number(2) \
          .labels([{"key": "env", "value": "dev"}]) \
          .spark_config({
              "spark.dynamicAllocation.enabled": "true",
              "spark.dynamicAllocation.maxExecutors": "3",
          }) \
          .build()
      # Submit asynchronously, then wait
      jar_job.submit_and_wait()
      logger.info("JAR job completed. ID: %s, Status: %s",
                  jar_job.job_id, jar_job.status)
  except AidatalakeException as e:
      logger.error("Example 1 FAILED: %s", e)
  ```
  表1参数详情 
  | 参数               | 必须配置 | 默认值 | 描述                                                                                                                 |
  |:---|:---|:---|:---|
  | endpoint_name   | 是    | 无    | SparkJob端点名称。                                                                                                       |
  | catalog_name       | 否    | 无    | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | main_args       | 否      | 无     | 主类Main参数                                                                                                              |
  | job_agency        | 否      | 无      | 作业IAM委托，用户访问OBS或Lakeformation。                                                                                     |
  | spark_config      | 否   | 无   | Spark参数。                                                                                                            |
  | driver_cpu     | 否     | 无     | Driver POD毫核数。                                                                                                       |
  | driver_memory    | 否   | 无     | Driver POD内存MB。                                                                                                      |
  | executor_cpu     | 否     | 无   | Executor POD毫核数。                                                                                                       |
  | executor_memory  | 否    | 无     | Executor POD内存MB。                                                                                                   |
  | executor_number | 否  | 无   | Executor实例个数。                                                                                                        |
     
  

- spark_python_job类型作业
  ```
  try:
      python_job = client.new_python_job_builder(
          "test-python-job",
          "obs://obs-bucket/sleep_1.py",
      ) \
          .endpoint_name("endpoint_name") \
          .catalog_name("catalog_name") \
          .main_args(["500000"]) \
          .job_agency("job_agency") \
          .dependency_py_files(["obs://obs-bucket/utils.py"]) \
          .driver_cpu(1000).driver_memory(4096) \
          .executor_cpu(1000).executor_memory(4096) \
          .executor_number(1) \
          .build()
      python_job.submit_and_wait()
      logger.info("Python job completed. ID: %s, Status: %s",
                  python_job.job_id, python_job.status)
  except AidatalakeException as e:
      logger.error("Example 2 FAILED: %s", e)
  ```
  表2参数详情 
  | 参数                 | 必须配置 | 默认值  | 描述                                                                                                                  |
  |:---|:---|:---|:---|
  | endpoint_name     | 是       | 无    | SparkJob端点名称。                                                                                                      |
  | catalog_name       | 否    | 无    | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | main_args          | 否    | 否   | 主类Main参数                                                                                                            |
  | job_agency                                     | 否                                | 无                                 | 作业IAM委托，用户访问OBS或Lakeformation。                                                                                                                  |
  | dependency_py_files | 否       | 否 | 依赖的Python文件                                                                                                        |
  | driver_cpu           | 否     | 无    | Driver POD豪核数。                                                                                                       |
  | driver_memory      | 否     | 无    | Driver POD 内存MB。                                                                                                     |
  | executor_cpu        | 否     | 无   | Executor POD豪核数。                                                                                                    |
  | executor_memory    | 否      | 无   | Executor POD 内存MB。                                                                                                   |
  | executor_number    | 否     | 无    | Executor实例个数。                                                                                                       |
     
  
- spark_sql_scripting_job类型作业
  ```
  try:
      sql_scripting_job = client.new_sql_scripting_job_builder(
          "test-sql-scripting-job",
      ) \
          .sql_scripting_file("obs://obs-bucket/test_sql.sql") \
          .sql_scripting_result_to_obs(True) \
          .endpoint_name("endpoint_name") \
          .catalog_name("catalog_name_sql") \
          .job_agency("job_agency") \
          .driver_cpu(1000).driver_memory(4096) \
          .executor_cpu(1000).executor_memory(4096) \
          .executor_number(1) \
          .build()
      sql_scripting_job.submit_and_wait()
      logger.info("SQL Scripting job completed. ID: %s, Status: %s",
                  sql_scripting_job.job_id, sql_scripting_job.status)
      # Read results from OBS
      result = sql_scripting_job.get_result()
      row_count = 0
      for row in result:
          row_count += 1
          if row_count <= 10:
              logger.info("  Row %d: %s", row_count, row)
      logger.info("Total rows: %d", row_count)
      if hasattr(result, 'close'):
          result.close()
  except AidatalakeException as e:
      logger.error("Example 3 FAILED: %s", e)
  ```
  表3参数详情 
  | 参数                 | 必须配置 | 默认值 | 描述                                                                                                                      |
  |:---|:---|:---|:---|
  | sql_scripting_file | 是     | 无   | SqlScripting OBS脚本路径。                                                                                                  |
  | endpoint_name     | 是     | 无  | SparkJob端点名称。                                                                                                         |
  | catalog_name       | 否    | 无  | 默认LakeFormation Catalog名称。 如果作业内执行Spark.sql可选择设置。 |
  | job_agency                                     | 否                                | 无                               | 作业IAM委托，用户访问OBS或Lakeformation。                                                                                                                     |
  | driver_cpu         | 否    | 无    | Driver POD豪核数。                                                                                                           |
  | driver_memory     | 否   | 无   | Driver POD 内存MB。                                                                                                      |
  | executor_cpu      | 否   | 无    | Executor POD豪核数。                                                                                                       |
  | executor_memory | 否  | 无  | Executor POD 内存MB。                                                                                                     |
  | executor_number  | 否   | 无     | Executor实例个数。                                                                                                           |
     
  
 
