更新时间:2026-11-02 GMT+08:00
Spark连接数据库并查询
功能说明
本节介绍如何使用AI DataLake DB-API连接数据库并进行查询。
前提条件
- 已完成配置Python SDK环境并完成了初始化,详情请参见Spark SDK获取与初始化。
- API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
- 使用的计算资源和端点为可用状态。
函数
cursor
# 同步提交函数 execute(); # 获取SQL查询结果函数 fetchall();
样例代码
- 创建连接
conn = connect( region="your_region", project_id="your_project_id", workspace_id="your_workspace_id", ak="your_access_key", sk="your_secret_key", endpoint="aidatalake_endpoint", database="default", )
- 执行SQL
try: cursor = conn.cursor() cursor.execute("SELECT 1 AS value, 'hello' AS greeting") row = cursor.fetchone() logger.info("Row: %s", row) cursor.close()try: cursor = conn.cursor() cursor.execute( "SELECT * FROM demo_table WHERE id = ? AND name = ?", [42, "test"], ) rows = cursor.fetchall() logger.info("Fetched %d rows", len(rows)) cursor.close()cursor = conn.cursor() # 获取查询结果 cursor.execute( "SELECT * FROM demo_table WHERE id = :id AND name = :name", {"id": 42, "name": "test"}, ) for row in cursor: logger.info("Row: %s", row) # List catalogs catalogs = conn.list_catalogs() logger.info("Catalogs: %s", catalogs) # List schemas (databases) schemas = conn.list_schemas(catalog="default") logger.info("Schemas in 'default': %s", schemas)
参数说明
| 参数 | 必须配置 | 默认值 | 描述 |
|---|---|---|---|
| region | 是 | 无 | 区域名称。 |
| project_id | 是 | 无 | 项目ID。 |
| ak | 是 | 无 | 访问密钥ID。 |
| sk | 是 | 无 | 访问密钥密码。 |
| endpoint | 是 | 无 | Ai DataLake的URL。 |
| database | 否 | 无 | LakeFormation数据库名字。 |
| workspace_id | 是 | 无 | 工作空间ID。 |
| catalog | 否 | 无 | LakeFormation Catalog名字。 |
| security_token | 否 | 无 | 使用临时凭证时使用。 |
| obs_endpoint | 否 | 无 | OBS Endpoint。 不设置时默认使用obs.{RegionName}.myhuaweicloud.com) |
| endpoint_name | 否 | 无 | AI DataLake Endpoint。 例如:fabric.{regionName}.myhuaweicloud.com。 |
父主题: Spark SDK(Python)