更新时间:2026-11-02 GMT+08:00
Spark SQL作业提交
功能说明
本节操作介绍使用AI DataLake SDK提交SQL作业的操作方法。
前提条件
- 已完成配置Python SDK环境并完成了初始化,详情请参见Spark SDK获取与初始化。
- API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
- 使用的计算资源和端点为可用状态。
函数
AidatalakeClient
# 同步提交函数 execute_sql(); # 异步提交函数 async_execute_sql();
样例代码
- 异步提交SQL
try: sql_job = client.async_execute_sql( "SELECT 1 AS value", database_name="database_name", endpoint_name="endpoint_name", catalog="catalog_name", ) logger.info("Job submitted. Statement ID: %s", sql_job.job_id) # Poll for completion status, msg = sql_job.get_status() logger.info("Initial status: %s", status) except Exception as e: logger.error("Example 2 FAILED: %s", e)
- 同步提交SQL
try: sql_job = client.execute_sql( "SHOW DATABASES", database_name="database_name", endpoint_name="endpoint_name", catalog="catalog_name", ) logger.info("Job completed. ID: %s, Status: %s", sql_job.job_id, sql_job.job_status) except Exception as e: logger.error("Example 1 FAILED: %s", e)
- SQL查询
try: job = client.new_sql_job_builder("SELECT * FROM demo_db1.demo_tbl1 LIMIT 10") \ .catalog_name(catalog_name) \ .database_name(database_name) \ .labels([{"key": "env", "value": "dev"}]) \ .running_timeout(300) \ .queue_timeout(60) \ .job_timeout(600) \ .build() # Submit and wait job.submit() logger.info("Job completed. ID: %s", job.job_id) result = job.get_result() if result: row_count = sum(1 for _ in result) logger.info("Rows: %d", row_count) if hasattr(result, 'close'): result.close() except Exception as e: logger.error("Example 3 FAILED: %s", e)
参数说明
| 参数 | 必须配置 | 默认值 | 描述 |
|---|---|---|---|
| database_name | 是 | 无 | 默认LakeFormation数据库名称。 |
| endpoint_name | 是 | 无 | SparkSQL端点名称。 |
| catalog | 是 | 无 | 默认LakeFormation Catalog名称。 |
父主题: Spark SDK(Python)