更新时间:2026-11-13 GMT+08:00
分享

通过JDBC连接AuraJobV2端点并提交作业

JDBC(Java Database Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问接口,应用程序可基于它操作数据。创建AuraJobV2端点后,您可以通过JDBC方式连接AuraJobV2端点后提交SQL作业。

约束与限制

Aura库提供了对JDBC 4.0特性的支持,需要使用JDK 17及以上版本编译程序代码,不支持JDBC桥接ODBC方式。

前提条件

开发流程

JDBC开发流程通常包括以下关键步骤:加载数据库驱动 > 连接AuraJobV2端点 > 执行SQL查询或更新 > 处理结果 > 关闭连接。

JDBC URL仅用于建立连接。建立连接后,所有SQL操作均通过JDBC标准接口(Connection/Statement/ResultSet)完成,具体接口请参见JDBC接口参考。

步骤一:下载并安装JDBC驱动

  1. 联系技术支持获取SDK安装包。
    解压后包含两个JDBC驱动jar包:

    驱动包

    说明

    aidatalake-aura-jdbc-pg.jar

    与PostgreSQL保持兼容的驱动包,类名、类结构与PostgreSQL驱动完全一致,曾经运行于PostgreSQL的应用程序可以直接移植到当前系统使用。

    aidatalake-aura-jdbc.jar(推荐)

    如果同一JVM进程内需要同时访问PostgreSQL及Aura请使用此驱动包。

    对应的驱动类如下:

    驱动包

    驱动类

    aidatalake-aura-jdbc-pg.jar

    org.postgresql.Driver

    aidatalake-aura-jdbc.jar

    com.huaweicloud.aidatalake.aura.jdbc.Driver

  2. 将SDK包安装到本地Maven仓库,引入aidatalake-aura-jdbc依赖的Maven配置项如下:
    mvn install:install-file -Dfile=aidatalake-aura-jdbc-x.x.x.jar -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-aura-jdbc -Dversion=26.12.0.r2 -Dpackaging=jar

步骤二:连接AuraJobV2端点

  1. 加载驱动。

    在创建数据库连接之前,需要先加载数据库驱动程序。支持以下两种方法加载:

    • 方法1:在代码中创建连接之前任意位置隐含装载:
      Class.forName("com.huaweicloud.aidatalake.aura.jdbc.Driver");
    • 方法2:在JVM启动时参数传递:
      java -Djdbc.drivers=com.huaweicloud.aidatalake.aura.jdbc.Driver jdbctest

      jdbctest为测试用例程序的名称。

  2. 调用JDBC的数据库连接方法DriverManager.getConnection()连接AuraJobV2端点。

    JDBC提供了两个方法,用于连接AuraJobV2端点。

    • DriverManager.getConnection(String url);
    • DriverManager.getConnection(String url, Properties info);
    表1 连接参数说明

    参数

    描述

    url

    数据库连接描述符。格式为:jdbc:aura://<Endpoint地址>/<Catalog名称>。其中:

    • <Endpoint地址>:替换为AI Datalake服务终端节点。

      终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。

    • <Catalog名称>:替换为LakeFormation中对应catalog名称。

    使用JDBC连接集群时集群链接地址只支持指定jdbc连接参数,不支持增加变量参数。

    info

    数据库连接参数。常用的参数如下:

    • AccessKeyID和SecretAccessKey:String类型。表示华为云账号的AK和SK。

      获取AK和SK信息,请参见访问密钥。

    • SecurityToken:String类型。表示创建连接的用户访问Token,如果使用临时的的AK/SK,请填写此参数。

      获取的具体操作,请参见获取委托的临时访问密钥和securitytoken。

    • workspaceId:String类型。AuraJobV2端点所属工作空间的ID。

      在“工作空间管理”页面获取目标工作空间ID。具体操作,请参见查看工作空间详细信息。

    • endpointName:String类型。当前使用的AuraJobV2端点名称。

      获取AuraJobV2端点名称具体操作,请参见查看Aura端点详情。

    • agencyName(可选):String类型。委托名称,用于获取长期有效的委托凭证,解决长时间运行SQL时用户token过期问题。委托名称获取,请参见创建自定义委托。
    • cpu(可选):long类型。会话指定的计算节点CPU资源规格,单位:毫核,范围 (0, 48000]。
    • memory(可选):long类型。会话指定的计算节点内存资源规格,单位:MiB,范围 (0, 393216]。
    以下代码封装了一个获取Aura数据库连接的方法:加载Aura JDBC驱动,通过Properties传入workspaceId、endpointName、AK/SK(AccessKeyID、SecretAccessKey)和安全令牌(SecurityToken)等认证参数,调用DriverManager.getConnection()建立连接,并返回Connection对象。
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    public static Connection GetConnection() {
            //驱动类。
            String driver = "com.huaweicloud.aidatalake.aura.jdbc.Driver";
            //数据库连接描述符。
            String sourceURL = "jdbc:aura://fabric.cn-north-4.myhuaweicloud.com:443/fabricsql_default?";
            Connection conn = null;
            Properties properties = new Properties();
    
            try {
                //加载驱动。
                Class.forName(driver);
            } catch (ClassNotFoundException e ){
                e.printStackTrace();
                return null;
            }
            
            try {
                properties.setProperty("workspaceId", "");
                properties.setProperty("endpointName", "");
                properties.setProperty("AccessKeyID", "");
                properties.setProperty("SecretAccessKey", "");
                properties.setProperty("SecurityToken", "");
                 //创建连接。
                conn = DriverManager.getConnection(sourceURL, properties);
                System.out.println("Connection succeed!");
            } catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
            
            return conn;
        }
    

  3. 在完成相应的数据操作后,执行以下命令关闭连接。

    conn.close()

步骤三:提交作业

  1. 调用Connection的createStatement方法创建语句对象。
    Statement stmt = con.createStatement(); 
  2. 调用Statement的executeUpdate方法执行SQL语句。
    stmt.executeUpdate("CREATE TABLE customer_t1(c_customer_sk INTEGER, c_customer_name VARCHAR(32))");
  3. 关闭语句对象。
    stmt.close();

完整示例

本示例通过使用JDBC连接AuraJobV2端点,演示建表、插入、查询、删表的完整SQL操作流程,基于aidatalake-aura-jdbc驱动包,驱动类名为com.huaweicloud.aidatalake.aura.jdbc.Driver。

注意事项:

  • UPDATE语句仅支持Iceberg表和Lance表,非Iceberg表和Lance表执行UPDATE会报错。
  • PreparedStatement批处理(addBatch+executeBatch)不支持绑定参数,请逐条执行INSERT。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBCTest
{
    private static final String AKEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxx";
    private static final String SKEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
    private static final String STK = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
    // 创建数据库连接。
    public static Connection getConnection() {
        // 使用aidatalake-aura-jdbc驱动包时,驱动类名为 com.huaweicloud.aidatalake.aura.jdbc.Driver
        String driver = "com.huaweicloud.aidatalake.aura.jdbc.Driver";
        // 连接URL格式:jdbc:aura://<终端节点地址>:<端口>/<catalog 名称>?<参数>
        String url = "jdbc:aura://fabric.cn-north-4.myhuaweicloud.com:443/fabricsql_default?"
            + "workspaceId=xxxxxxxxxxxxxxxxxxxxxxxxxxx&"
            + "endpointName=xxxxxxxxxxxx&"
            + "AccessKeyID=" + AKEY + "&"
            + "SecretAccessKey=" + SKEY + "&"
            + "SecurityToken=" + STK;

        System.out.println("url : " + url);
        Connection conn = null;
        try {
            // 加载数据库驱动。
            Class.forName(driver);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            return null;
        }
        try {
            // 创建数据库连接。
            conn = DriverManager.getConnection(url);
            System.out.println("Connection succeed!");
        } catch (SQLException e) {
            e.printStackTrace();
            return null;
        }
        return conn;
    }
    // 执行普通SQL语句,创建customer_t1表。
    public static void CreateTable(Connection conn) {
        Statement stmt = null;
        try {
            stmt = conn.createStatement();
            // 如果表已存在则先删除。
            try {
                stmt.executeUpdate("DROP TABLE IF EXISTS customer_t1");
                System.out.println("Drop table succeed!");
            } catch (Exception e) {
                System.out.println("Drop table failed (may not exist): " + e.getMessage());
            }
            // 创建表。
            stmt.executeUpdate("CREATE TABLE customer_t1(c_customer_sk INTEGER, c_customer_name VARCHAR(32))");
            stmt.close();
            System.out.println("Create table succeed!");
        } catch (Exception e) {
            System.out.println("Create table failed: " + e.getMessage());
            if (stmt != null) {
                try {
                    stmt.close();
                } catch (SQLException e1) {
                    e1.printStackTrace();
                }
            }
        }
    }
    // 执行预处理语句,逐条插入数据。
    public static void InsertData(Connection conn) {
        PreparedStatement pst = null;
        try {
            pst = conn.prepareStatement("INSERT INTO customer_t1 VALUES (?,?)");
            for (int i = 0; i < 3; i++) {
                pst.setInt(1, i);
                pst.setString(2, "data " + i);
                pst.executeUpdate();
            }
            pst.close();
            System.out.println("Insert data succeed!");
        } catch (Exception e) {
            System.out.println("Insert data failed: " + e.getMessage());
            if (pst != null) {
                try {
                    pst.close();
                } catch (SQLException e1) {
                    e1.printStackTrace();
                }
            }
        }
    }
    // 执行查询语句,读取数据。
    public static void QueryData(Connection conn) {
        Statement stmt = null;
        ResultSet rs = null;
        try {
            stmt = conn.createStatement();
            // 执行 SQL 查询。
            rs = stmt.executeQuery("SELECT c_customer_sk, c_customer_name FROM customer_t1");
            while (rs.next()) {
                // 读取结果集中的数据。
                int sk = rs.getInt(1);
                String name = rs.getString(2);
                System.out.println("sk=" + sk + ", name=" + name);
            }
            rs.close();
            stmt.close();
            System.out.println("Query succeed!");
        } catch (Exception e) {
            System.out.println("Query failed: " + e.getMessage());
            if (rs != null) {
                try {
                    rs.close();
                } catch (SQLException e1) {
                    e1.printStackTrace();
                }
            }
            if (stmt != null) {
                try {
                    stmt.close();
                } catch (SQLException e1) {
                    e1.printStackTrace();
                }
            }
        }
    }
    // 删除表。
    public static void DropTable(Connection conn) {
        Statement stmt = null;
        try {
            stmt = conn.createStatement();
            stmt.executeUpdate("DROP TABLE customer_t1");
            stmt.close();
            System.out.println("Drop table succeed!");
        } catch (Exception e) {
            System.out.println("Drop table failed: " + e.getMessage());
            if (stmt != null) {
                try {
                    stmt.close();
                } catch (SQLException e1) {
                    e1.printStackTrace();
                }
            }
        }
    }
    /**
     * 主程序,逐步调用各静态方法。
     */
    public static void main(String[] args) {
        // 创建数据库连接。
        Connection conn = getConnection();
        if (conn == null) {
            System.out.println("Connection failed!");
            return;
        }
        // 创建表。
        CreateTable(conn);
        // 插入数据。
        InsertData(conn);
        // 查询数据。
        QueryData(conn);
        // 删除表。
        DropTable(conn);
        // 关闭数据库连接。
        try {
            conn.close();
            System.out.println("Connection closed.");
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

相关文档