更新时间:2026-11-02 GMT+08:00
分享

Spark Job作业提交

功能说明

本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。

前提条件

函数

  • SparkJarJob
    # 同步提交函数
    submit_and_wait();
    
    # 异步提交函数
    submit();
  • SparkPythonJob
    # 同步提交函数
    submit_and_wait();
    
    # 异步提交函数
    submit();
  • SparkSqlScriptingJob
    # 同步提交函数
    submit_and_wait();
    
    # 异步提交函数
    submit();

样例代码

  • spark_jar_job类型作业
    try:
        jar_job = client.new_jar_job_builder(
            "test-jar-job",
            "org.example.WordCount",
            "obs://obs-bucket/spark-jar-test-1.0-SNAPSHOT.jar",
        ) \
            .endpoint_name("endpoint_name") \
            .catalog_name("catalog_name") \
            .main_args(["500000"]) \
            .job_agency("job_agency") \
            .driver_cpu(1000).driver_memory(4096) \
            .executor_cpu(1000).executor_memory(4096) \
            .executor_number(2) \
            .labels([{"key": "env", "value": "dev"}]) \
            .spark_config({
                "spark.dynamicAllocation.enabled": "true",
                "spark.dynamicAllocation.maxExecutors": "3",
            }) \
            .build()
        # Submit asynchronously, then wait
        jar_job.submit_and_wait()
        logger.info("JAR job completed. ID: %s, Status: %s",
                    jar_job.job_id, jar_job.status)
    except AidatalakeException as e:
        logger.error("Example 1 FAILED: %s", e)
    表1 参数详情

    参数

    必须配置

    默认值

    描述

    endpoint_name

    是

    无

    SparkJob端点名称。

    catalog_name

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    main_args

    否

    无

    主类Main参数

    job_agency

    否

    无

    作业IAM委托,用户访问OBS或Lakeformation。

    spark_config

    否

    无

    Spark参数。

    driver_cpu

    否

    无

    Driver POD毫核数。

    driver_memory

    否

    无

    Driver POD内存MB。

    executor_cpu

    否

    无

    Executor POD毫核数。

    executor_memory

    否

    无

    Executor POD内存MB。

    executor_number

    否

    无

    Executor实例个数。

  • spark_python_job类型作业
    try:
        python_job = client.new_python_job_builder(
            "test-python-job",
            "obs://obs-bucket/sleep_1.py",
        ) \
            .endpoint_name("endpoint_name") \
            .catalog_name("catalog_name") \
            .main_args(["500000"]) \
            .job_agency("job_agency") \
            .dependency_py_files(["obs://obs-bucket/utils.py"]) \
            .driver_cpu(1000).driver_memory(4096) \
            .executor_cpu(1000).executor_memory(4096) \
            .executor_number(1) \
            .build()
        python_job.submit_and_wait()
        logger.info("Python job completed. ID: %s, Status: %s",
                    python_job.job_id, python_job.status)
    except AidatalakeException as e:
        logger.error("Example 2 FAILED: %s", e)
    表2 参数详情

    参数

    必须配置

    默认值

    描述

    endpoint_name

    是

    无

    SparkJob端点名称。

    catalog_name

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    main_args

    否

    否

    主类Main参数

    job_agency

    否

    无

    作业IAM委托,用户访问OBS或Lakeformation。

    dependency_py_files

    否

    否

    依赖的Python文件

    driver_cpu

    否

    无

    Driver POD豪核数。

    driver_memory

    否

    无

    Driver POD 内存MB。

    executor_cpu

    否

    无

    Executor POD豪核数。

    executor_memory

    否

    无

    Executor POD 内存MB。

    executor_number

    否

    无

    Executor实例个数。

  • spark_sql_scripting_job类型作业
    try:
        sql_scripting_job = client.new_sql_scripting_job_builder(
            "test-sql-scripting-job",
        ) \
            .sql_scripting_file("obs://obs-bucket/test_sql.sql") \
            .sql_scripting_result_to_obs(True) \
            .endpoint_name("endpoint_name") \
            .catalog_name("catalog_name_sql") \
            .job_agency("job_agency") \
            .driver_cpu(1000).driver_memory(4096) \
            .executor_cpu(1000).executor_memory(4096) \
            .executor_number(1) \
            .build()
        sql_scripting_job.submit_and_wait()
        logger.info("SQL Scripting job completed. ID: %s, Status: %s",
                    sql_scripting_job.job_id, sql_scripting_job.status)
        # Read results from OBS
        result = sql_scripting_job.get_result()
        row_count = 0
        for row in result:
            row_count += 1
            if row_count <= 10:
                logger.info("  Row %d: %s", row_count, row)
        logger.info("Total rows: %d", row_count)
        if hasattr(result, 'close'):
            result.close()
    except AidatalakeException as e:
        logger.error("Example 3 FAILED: %s", e)
    
    表3 参数详情

    参数

    必须配置

    默认值

    描述

    sql_scripting_file

    是

    无

    SqlScripting OBS脚本路径。

    endpoint_name

    是

    无

    SparkJob端点名称。

    catalog_name

    否

    无

    默认LakeFormation Catalog名称。

    如果作业内执行Spark.sql可选择设置。

    job_agency

    否

    无

    作业IAM委托,用户访问OBS或Lakeformation。

    driver_cpu

    否

    无

    Driver POD豪核数。

    driver_memory

    否

    无

    Driver POD 内存MB。

    executor_cpu

    否

    无

    Executor POD豪核数。

    executor_memory

    否

    无

    Executor POD 内存MB。

    executor_number

    否

    无

    Executor实例个数。

相关文档