Spark Job作业提交
功能说明
本节操作介绍使用AI DataLake SDK提交Spark作业的操作方法。
前提条件
- 已完成配置Python SDK环境并完成了初始化,详情请参见Spark SDK获取与初始化。
- API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
- 使用的计算资源和端点为可用状态。
函数
- SparkJarJob
# 同步提交函数 submit_and_wait(); # 异步提交函数 submit();
- SparkPythonJob
# 同步提交函数 submit_and_wait(); # 异步提交函数 submit();
- SparkSqlScriptingJob
# 同步提交函数 submit_and_wait(); # 异步提交函数 submit();
样例代码
- spark_jar_job类型作业
try: jar_job = client.new_jar_job_builder( "test-jar-job", "org.example.WordCount", "obs://obs-bucket/spark-jar-test-1.0-SNAPSHOT.jar", ) \ .endpoint_name("endpoint_name") \ .catalog_name("catalog_name") \ .main_args(["500000"]) \ .job_agency("job_agency") \ .driver_cpu(1000).driver_memory(4096) \ .executor_cpu(1000).executor_memory(4096) \ .executor_number(2) \ .labels([{"key": "env", "value": "dev"}]) \ .spark_config({ "spark.dynamicAllocation.enabled": "true", "spark.dynamicAllocation.maxExecutors": "3", }) \ .build() # Submit asynchronously, then wait jar_job.submit_and_wait() logger.info("JAR job completed. ID: %s, Status: %s", jar_job.job_id, jar_job.status) except AidatalakeException as e: logger.error("Example 1 FAILED: %s", e)表1 参数详情 参数
必须配置
默认值
描述
endpoint_name
是
无
SparkJob端点名称。
catalog_name
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
main_args
否
无
主类Main参数
job_agency
否
无
作业IAM委托,用户访问OBS或Lakeformation。
spark_config
否
无
Spark参数。
driver_cpu
否
无
Driver POD毫核数。
driver_memory
否
无
Driver POD内存MB。
executor_cpu
否
无
Executor POD毫核数。
executor_memory
否
无
Executor POD内存MB。
executor_number
否
无
Executor实例个数。
- spark_python_job类型作业
try: python_job = client.new_python_job_builder( "test-python-job", "obs://obs-bucket/sleep_1.py", ) \ .endpoint_name("endpoint_name") \ .catalog_name("catalog_name") \ .main_args(["500000"]) \ .job_agency("job_agency") \ .dependency_py_files(["obs://obs-bucket/utils.py"]) \ .driver_cpu(1000).driver_memory(4096) \ .executor_cpu(1000).executor_memory(4096) \ .executor_number(1) \ .build() python_job.submit_and_wait() logger.info("Python job completed. ID: %s, Status: %s", python_job.job_id, python_job.status) except AidatalakeException as e: logger.error("Example 2 FAILED: %s", e)表2 参数详情 参数
必须配置
默认值
描述
endpoint_name
是
无
SparkJob端点名称。
catalog_name
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
main_args
否
否
主类Main参数
job_agency
否
无
作业IAM委托,用户访问OBS或Lakeformation。
dependency_py_files
否
否
依赖的Python文件
driver_cpu
否
无
Driver POD豪核数。
driver_memory
否
无
Driver POD 内存MB。
executor_cpu
否
无
Executor POD豪核数。
executor_memory
否
无
Executor POD 内存MB。
executor_number
否
无
Executor实例个数。
- spark_sql_scripting_job类型作业
try: sql_scripting_job = client.new_sql_scripting_job_builder( "test-sql-scripting-job", ) \ .sql_scripting_file("obs://obs-bucket/test_sql.sql") \ .sql_scripting_result_to_obs(True) \ .endpoint_name("endpoint_name") \ .catalog_name("catalog_name_sql") \ .job_agency("job_agency") \ .driver_cpu(1000).driver_memory(4096) \ .executor_cpu(1000).executor_memory(4096) \ .executor_number(1) \ .build() sql_scripting_job.submit_and_wait() logger.info("SQL Scripting job completed. ID: %s, Status: %s", sql_scripting_job.job_id, sql_scripting_job.status) # Read results from OBS result = sql_scripting_job.get_result() row_count = 0 for row in result: row_count += 1 if row_count <= 10: logger.info(" Row %d: %s", row_count, row) logger.info("Total rows: %d", row_count) if hasattr(result, 'close'): result.close() except AidatalakeException as e: logger.error("Example 3 FAILED: %s", e)表3 参数详情 参数
必须配置
默认值
描述
sql_scripting_file
是
无
SqlScripting OBS脚本路径。
endpoint_name
是
无
SparkJob端点名称。
catalog_name
否
无
默认LakeFormation Catalog名称。
如果作业内执行Spark.sql可选择设置。
job_agency
否
无
作业IAM委托,用户访问OBS或Lakeformation。
driver_cpu
否
无
Driver POD豪核数。
driver_memory
否
无
Driver POD 内存MB。
executor_cpu
否
无
Executor POD豪核数。
executor_memory
否
无
Executor POD 内存MB。
executor_number
否
无
Executor实例个数。