更新时间:2026-11-02 GMT+08:00
分享

Spark SQL作业提交

功能说明

本节操作介绍使用AI DataLake SDK提交SQL作业的操作方法。

前提条件

函数

AidatalakeClient
# 同步提交函数
execute_sql();

# 异步提交函数
async_execute_sql();

样例代码

  • 异步提交SQL
    try:
        sql_job = client.async_execute_sql(
            "SELECT 1 AS value",
            database_name="database_name",
            endpoint_name="endpoint_name",
            catalog="catalog_name",
        )
        logger.info("Job submitted. Statement ID: %s", sql_job.job_id)
        # Poll for completion
        status, msg = sql_job.get_status()
        logger.info("Initial status: %s", status)
    except Exception as e:
        logger.error("Example 2 FAILED: %s", e)
  • 同步提交SQL
    try:
        sql_job = client.execute_sql(
            "SHOW DATABASES",
            database_name="database_name",
            endpoint_name="endpoint_name",
            catalog="catalog_name",
        )
        logger.info("Job completed. ID: %s, Status: %s", sql_job.job_id, sql_job.job_status)
    except Exception as e:
        logger.error("Example 1 FAILED: %s", e)
  • SQL查询
    try:
        job = client.new_sql_job_builder("SELECT * FROM demo_db1.demo_tbl1 LIMIT 10") \
            .catalog_name(catalog_name) \
            .database_name(database_name) \
            .labels([{"key": "env", "value": "dev"}]) \
            .running_timeout(300) \
            .queue_timeout(60) \
            .job_timeout(600) \
            .build()
        # Submit and wait
        job.submit()
        logger.info("Job completed. ID: %s", job.job_id)
        result = job.get_result()
        if result:
            row_count = sum(1 for _ in result)
            logger.info("Rows: %d", row_count)
            if hasattr(result, 'close'):
                result.close()
    except Exception as e:
        logger.error("Example 3 FAILED: %s", e)

参数说明

表1 参数详情

参数

必须配置

默认值

描述

database_name

是

无

默认LakeFormation数据库名称。

endpoint_name

是

无

SparkSQL端点名称。

catalog

是

无

默认LakeFormation Catalog名称。

相关文档