更新时间:2026-11-13 GMT+08:00
分享

通过JDBC连接SparkSQL端点并提交作业

JDBC驱动是AI DataLake SparkSQL提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于AI DataLake执行海量数据的分布式计算查询。 JDBC驱动还可以用于连接AI DataLake SparkSQL和支持JDBC的工具。

本节操作介绍使用AI DataLake JDBC提交查询SQL的操作方法。

步骤一:下载并安装JDBC驱动

  1. 单击aidatalake-spark-jdbc-x.x.x.jar下载JDBC包,安装到本地Maven仓库。
  2. 执行如下命令安装JDBC驱动。
    mvn install:install-file -Dfile={{jar包本地路径}} -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-jdbc -Dversion={{jar版本Id}} -Dpackaging=jar

步骤二:初始化客户端

  • 方式一:
    1) 加载驱动
    Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
    
    2) 创建Connection
    jdbc:aidatalakespark://<endPoint>/projectId?<key1>=<val1>;<key2>=<val2>...

    详细参数说明请参见表1和表2。

    表1 驱动连接配置信息参数说明

    参数

    说明

    获取方式

    endPoint

    地区与终端节点,即AI DataLake云服务在不同Region有不同的访问域名。

    地区和终端节点

    projectId

    AI DataLake所在的项目ID。

    鼠标悬浮在AI DataLake管理控制台页面右上角账号信息位置,单击“我的凭证”,在“项目列表”区域获取的目标项目ID信息。

    <key1>=<val1>

    连接中? 后面接其他配置项,每个配置项以key=value的形式列出,配置项之间以;隔开。

    请参考表2。

    表2 key=value参数说明

    参数

    说明

    示例值

    accesskey和secretkey

    华为云账号的AK和SK。

    获取AK和SK信息,请参见访问密钥。

    -

    regionName

    AI DataLake的区域名称。

    cn-north-7

    endpointname

    AI DataLake服务的SparkSQL端点名称。

    登录AI DataLake管理控制台,在“引擎端点”下的“批处理引擎Spark”页面找到目标SparkSQL端点名称。

    spark-sql-test

    database

    默认访问的数据库名称。

    default

    aidatalake.workspaceId

    AI DataLake工作空间ID。

    登录AI DataLake管理控制台,在“工作空间管理”页面找到目标工作空间ID。

    spark

    catalog

    数据目录名称。

    • 使用LakeFormation catalog时必填,对应的LakeFormation catalog名称。

      查询LakeFormation catalog时, catalog下面必须有 default数据库。

    • 不填写时默认AI DataLake catalog,使用AI DataLake catalog时无需配置该参数。

    假设使用名称为lfcatalog的LakeFormation catalog时,配置如下:catalog=lfcatalog

    lakeformation.instanceId

    LakeFormation实例ID。

    获取方法请参见如何获取LakeFormation实例ID

    ae6dd098-***-*****-c02***def36d

    obs.endpoint

    OBS的EndPoint。

    获取方法请参见终端节点(Endpoint)和访问域名。

    -

  • 方式二:
    1) 加载驱动
    Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
    
    2) 创建Connection
    String url = "jdbc:aidatalakespark://<endPoint>/projectId";
    Properties p = new Properties();
    p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "yourRegionName");
    p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName");
    p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName");
    p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDatabase");
    p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK");
    p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK");
    p.setProperty(ConnectionContext.TOKEN_PROP_KEY, "yourSecurityToken");
    p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "lfInstanceId");
    p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId");
    p.setProperty(ConnectionContext.JOB_TIMEOUT_PROP_KEY, "300");
    p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obsEndpoint");
    try (Connection conn = DriverManager.getConnection(String url, Properties info)) {
    }
    表3 参数详情

    参数

    必须配置

    默认值

    描述

    regionName

    是

    无

    区域名称。

    projectId

    是

    无

    项目ID。

    WORKSPACE_ID_PROP_KEY

    是

    无

    工作空间ID。

    LF_INSTANCE_ID_PROP_KEY

    是

    无

    工作空间绑定的LakeFormation实例ID。

    ACCESS_KEY_PROP_KEY

    是

    无

    访问密钥ID。

    SECRET_KEY_PROP_KEY

    是

    无

    访问密钥密码。

    ENDPOINT_NAME_PROP_KEY

    是

    无

    Spark端点名称。

    CATALOG_PROP_KEY

    是

    无

    SQL执行时默认LakeFormation Catalog。

    DATABASE_PROP_KEY

    是

    无

    SQL执行时默认LakeFormation数据库。

    TOKEN_PROP_KEY

    否

    无

    使用临时凭证时使用。

    JOB_TIMEOUT_PROP_KEY

    否

    300秒

    作业超时时间,超时报错。

    OBS_ENDPOINT_KEY

    否

    无

    OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com)

步骤三:提交SQL作业

  • 确保使用的计算资源和端点为可用状态。
  • API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
  • 样例代码
    • 同步提交查询SQL
      public static void submit(String url, Properties properties) throws SQLException {
          try (Connection connection = DriverManager.getConnection(url, properties)) {
              Statement statement = connection.createStatement();
              try (ResultSet rs = statement.executeQuery("select xxxx")) {
                  while (rs.next()) {
                      String col1 = rs.getString(1);
                      System.out.println(col1);
                  }
              }
          }
      }
    • 设置Spark配置参数
      public static void submit(String url, Properties properties) throws SQLException {
          try (Connection connection = DriverManager.getConnection(url, properties)) {
              Statement statement = connection.createStatement();
              // All spark configs shall start with "spark."
              statement.execute("SET spark.sql.shuffle.partitions=200");
              try (ResultSet rs = statement.executeQuery("select xxxx")) {
                  while (rs.next()) {
                      String col1 = rs.getString(1);
                      System.out.println(col1);
                  }
              }
              // To reset spark config
              statement.execute("RESET spark.sql.shuffle.partitions");
              try (ResultSet rs = statement.executeQuery("select xxxx")) {
                  while (rs.next()) {
                      String col1 = rs.getString(1);
                      System.out.println(col1);
                  }
              }
          }
      }
    • 元数据查询
      public static void query(String url, Properties properties) throws SQLException {
          try (Connection connection = DriverManager.getConnection(url, properties)) {
              AIDataLakeDatabaseMetaData metaData = (AIDataLakeDatabaseMetaData) connection.getMetaData();
              ResultSet catalogResult= metaData.getCatalogs();
              ResultSet schemaResult = metaData.getSchemas();
              ResultSet schemaFilterResult = metaData.getSchemas("catalog", "schema");
              ResultSet tableResult = metaData.getTables("catalog", "schema", "tableName", null);
          }
      }

完整代码示例

方式二的代码示例详情如下。

import com.huawei.aidatalake.jdbc.model.ConnectionContext;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class AIDataLakeJdbcExample1 {
    public static void main(String[] args) throws SQLException {
        String url = "jdbc:aidatalakespark://<endPoint>/projectId";
        Properties p = new Properties();
        p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "cn-north-7");
        p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName");
        p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName");
        p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDB");
        p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK");
        p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK");
        p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obs.cn-north-7.myhuaweicloud.com");
        p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "instanceId");
        p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId");
        try {
            Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        try (Connection connection = DriverManager.getConnection(url, p)) {
            Statement statement = connection.createStatement();
            try (ResultSet rs = statement.executeQuery("select xxxx")) {
                while (rs.next()) {
                    String col1 = rs.getString(1);
                    System.out.println(col1);
                }
            }
        }
    }
}

相关文档