文档首页/ 智能数据湖 AI DataLake/ 最佳实践/ 使用BI工具连接AI DataLake Spark分析数据/ 配置Superset连接AI DataLake Spark进行数据查询和分析
更新时间:2026-11-19 GMT+08:00
分享

配置Superset连接AI DataLake Spark进行数据查询和分析

Superset是一个开源的数据探索和可视化平台,支持对数据进行快速、直观的探索,同时支持创建丰富的数据可视化和交互式仪表板。

通过将Superset与AI DataLake对接,用户可以访问AI DataLake进行数据查询和分析,简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。

本节操作介绍Superset连接AI DataLake服务的操作步骤。

操作前准备

  • 获取Superset安装包

    详细安装操作指导请参考安装Superset。

步骤1:安装Superset并配置数据连接驱动

  1. 下载并安装Superset。

    详细安装操作指导请参考安装Superset。

    以Docker安装Superset为例:

    1. 安装Docker,确保当前主机系统上安装了Docker。
    2. 拉取Superset Docker镜像:
      docker pull apache/superset
    3. 启动Superset容器:
      docker run -p 8088:8088 apache/superset

      启动Superset容器,并将容器的8088端口映射到宿主机的8088端口。

    4. 访问Superset:

      在浏览器中访问http://IP:8088 (IP为Superset部署的机器),使用在安装Superset时设置的用户名和密码登录Superset。

  2. 在Superset中安装和配置AI DataLake驱动以连接数据库。

    驱动需要放置在Superset的类路径中,例如superset-classpath目录。

    解压安装包后,在Superset中安装AI DataLake驱动。

    执行Python setup.py install,把aidatalake-spark-python-sdk安装到本地环境。

  3. 完成驱动安装和配置后,需要重启Superset以确保安装的驱动生效。

步骤2:配置Superset连接AI DataLake

在Superset中,通过以下步骤添加新的数据库连接。

  1. 打开并登录Superset。
  2. 单击“Settings > Database Connections”。
    图1 Settings中单击Database Connections
  3. 在弹出的Database窗口中,SUPPORTED DATABASES选择AIDataLake Spark。
    图2 SUPPORTED DATABASES选择AIDataLake Spark
  4. 配置数据连接的信息。

    表1 参数说明

    参数

    说明

    DISPLAY NAME

    自定义数据连接名称。

    SQL ALCHEMY URI

    配置数据连接的URI。数据连接URI的格式:

    aidatalake_spark://<accesskey_id>:<accesskey_secret>@<region_id>/?projectid=<project_id>&workspaceid=<aidatalake workspaceid>&endpoint_name=<aidatalake_endpoint_name>&databasename=<aidatalake_default_database_name>&catalog=<lakeformation_catalog_name>&endpoint=<aidatalake url>&lakeformation_instance_id=<lakehouse instance id>
    其中数据连接的URL的格式中涉及的参数说明如下。
    表2 Superset连接AI DataLake参数说明

    参数

    说明

    配置样例

    accesskey_id和accesskey_secret

    华为云账号的AK和SK。

    获取AK和SK信息,请参见获取AKSK 。

    -

    region_id

    AI DataLake的区域名称和服务名称。

    cn-north-7

    projectid

    AI DataLake资源所在的项目ID。

    鼠标悬浮在AI DataLake管理控制台页面右上角账号信息位置,单击“我的凭证”,在“项目列表”区域获取的目标项目ID信息。

    0b33ea2a7e******4c009bb05076d

    workspaceid

    AI DataLake工作空间ID。

    登录AI DataLake管理控制台,在“工作空间管理”页面找到目标工作空间ID。

    spark

    endpoint_name

    AI DataLake服务的端点名称。

    登录AI DataLake管理控制台,在“引擎端点”下的“批处理引擎Spark”页面找到目标Spark端点名称。

    spark-sql-test

    databasename

    默认访问的数据库。

    default

    catalog

    数据目录名称。

    • 使用LakeFormation catalog时必填,对应的LakeFormation catalog名称。

      查询LakeFormation catalog时, catalog下面必须有 default数据库。

    • 不填写时默认AI DataLake catalog,使用AI DataLake catalog时无需配置该参数。

    假设使用名称为lfcatalog的LakeFormation catalog时,配置如下:catalog=lfcatalog

    endpoint

    AI DataLake服务的Url。

    终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。

    https://aidatalake-test.cn-north-7.myhuaweicloud.com

    lakeformation_instance_id

    LakeFormation实例ID。

    获取方法请参见如何获取LakeFormation实例ID。

    ae6dd098-***-*****-c02***def36d

  5. 单击“TEST CONNECTION”测试数据源连接是否成功。

    提示“Connection looks good!”代表可以连接成功。

  6. 单击“CONNECT”保存连接。

步骤3:使用Superset查询及分析数据

  1. 查看表信息

    在Superset界面的顶部菜单DataSets,在右侧单击+DATASET,选择数据连接 >数据库 >表,即可预览表信息。

    图3 在Superset预览表信息

  2. 单击右下角“CREATE DATASET AND CREATE CHART”,创建Dataset。

    图4 单击CREATE DATASET AND CREATE CHART

  3. 可视化分析数据

    在Dataset界面选中目标表,并配置图表类型+维度,即可展示数据业务分析图。

    1. 选择库表。
      图5 选择库表
    2. 执行SQL查询
      图6 执行SQL查询
    3. 查看分析结果
      图7 Superset可视化分析数据

相关文档