更新时间:2026-11-02 GMT+08:00
分享

Spark连接数据库并查询

功能说明

本节介绍如何使用AI DataLake DB-API连接数据库并进行查询。

前提条件

函数

cursor
# 同步提交函数
execute();

# 获取SQL查询结果函数
fetchall();

样例代码

  • 创建连接
    conn = connect(
        region="your_region",
        project_id="your_project_id",
        workspace_id="your_workspace_id",
        ak="your_access_key",
        sk="your_secret_key",
        endpoint="aidatalake_endpoint",
        database="default",
    )
  • 执行SQL
    try:
        cursor = conn.cursor()
        cursor.execute("SELECT 1 AS value, 'hello' AS greeting")
        row = cursor.fetchone()
        logger.info("Row: %s", row)
        cursor.close()

    try:
        cursor = conn.cursor()
        cursor.execute(
            "SELECT * FROM demo_table WHERE id = ? AND name = ?",
            [42, "test"],
        )
        rows = cursor.fetchall()
        logger.info("Fetched %d rows", len(rows))
        cursor.close()

    cursor = conn.cursor()
    
    # 获取查询结果
    cursor.execute(
        "SELECT * FROM demo_table WHERE id = :id AND name = :name",
        {"id": 42, "name": "test"},
    )
    for row in cursor:
        logger.info("Row: %s", row)
    
    # List catalogs
    catalogs = conn.list_catalogs()
    logger.info("Catalogs: %s", catalogs)
    
    # List schemas (databases)
    schemas = conn.list_schemas(catalog="default")
    logger.info("Schemas in 'default': %s", schemas)

参数说明

表1 参数详情

参数

必须配置

默认值

描述

region

是

无

区域名称。

project_id

是

无

项目ID。

ak

是

无

访问密钥ID。

sk

是

无

访问密钥密码。

endpoint

是

无

Ai DataLake的URL。

database

否

无

LakeFormation数据库名字。

workspace_id

是

无

工作空间ID。

catalog

否

无

LakeFormation Catalog名字。

security_token

否

无

使用临时凭证时使用。

obs_endpoint

否

无

OBS Endpoint。

不设置时默认使用obs.{RegionName}.myhuaweicloud.com)

endpoint_name

否

无

AI DataLake Endpoint。

例如:fabric.{regionName}.myhuaweicloud.com。

相关文档