通过JDBC连接AuraJobV2端点并提交作业
JDBC(Java Database Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问接口,应用程序可基于它操作数据。创建AuraJobV2端点后,您可以通过JDBC方式连接AuraJobV2端点后提交SQL作业。
约束与限制
Aura库提供了对JDBC 4.0特性的支持,需要使用JDK 17及以上版本编译程序代码,不支持JDBC桥接ODBC方式。
前提条件
- 已创建AuraJobV2端点且端点状态为“运行中”。具体操作,请参见创建Aura引擎端点。
- 已创建LakeFormation实例,并在该实例中创建Catalog及数据库。具体操作,请参见创建LakeFormation实例并规划元数据。
开发流程
JDBC开发流程通常包括以下关键步骤:加载数据库驱动 > 连接AuraJobV2端点 > 执行SQL查询或更新 > 处理结果 > 关闭连接。
JDBC URL仅用于建立连接。建立连接后,所有SQL操作均通过JDBC标准接口(Connection/Statement/ResultSet)完成,具体接口请参见JDBC接口参考。
步骤一:下载并安装JDBC驱动
- 联系技术支持获取SDK安装包。 解压后包含两个JDBC驱动jar包:
驱动包
说明
aidatalake-aura-jdbc-pg.jar
与PostgreSQL保持兼容的驱动包,类名、类结构与PostgreSQL驱动完全一致,曾经运行于PostgreSQL的应用程序可以直接移植到当前系统使用。
aidatalake-aura-jdbc.jar(推荐)
如果同一JVM进程内需要同时访问PostgreSQL及Aura请使用此驱动包。
对应的驱动类如下:
驱动包
驱动类
aidatalake-aura-jdbc-pg.jar
org.postgresql.Driver
aidatalake-aura-jdbc.jar
com.huaweicloud.aidatalake.aura.jdbc.Driver
- 将SDK包安装到本地Maven仓库,引入aidatalake-aura-jdbc依赖的Maven配置项如下:
mvn install:install-file -Dfile=aidatalake-aura-jdbc-x.x.x.jar -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-aura-jdbc -Dversion=26.12.0.r2 -Dpackaging=jar
步骤二:连接AuraJobV2端点
- 加载驱动。
在创建数据库连接之前,需要先加载数据库驱动程序。支持以下两种方法加载:
- 方法1:在代码中创建连接之前任意位置隐含装载:
Class.forName("com.huaweicloud.aidatalake.aura.jdbc.Driver"); - 方法2:在JVM启动时参数传递:
java -Djdbc.drivers=com.huaweicloud.aidatalake.aura.jdbc.Driver jdbctest
jdbctest为测试用例程序的名称。
- 方法1:在代码中创建连接之前任意位置隐含装载:
- 调用JDBC的数据库连接方法DriverManager.getConnection()连接AuraJobV2端点。
JDBC提供了两个方法,用于连接AuraJobV2端点。
- DriverManager.getConnection(String url);
- DriverManager.getConnection(String url, Properties info);
表1 连接参数说明 参数
描述
url
数据库连接描述符。格式为:jdbc:aura://<Endpoint地址>/<Catalog名称>。其中:
- <Endpoint地址>:替换为AI Datalake服务终端节点。
终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。
- <Catalog名称>:替换为LakeFormation中对应catalog名称。
使用JDBC连接集群时集群链接地址只支持指定jdbc连接参数,不支持增加变量参数。
info
数据库连接参数。常用的参数如下:
- AccessKeyID和SecretAccessKey:String类型。表示华为云账号的AK和SK。
获取AK和SK信息,请参见访问密钥。
- SecurityToken:String类型。表示创建连接的用户访问Token,如果使用临时的的AK/SK,请填写此参数。
获取的具体操作,请参见获取委托的临时访问密钥和securitytoken。
- workspaceId:String类型。AuraJobV2端点所属工作空间的ID。
在“工作空间管理”页面获取目标工作空间ID。具体操作,请参见查看工作空间详细信息。
- endpointName:String类型。当前使用的AuraJobV2端点名称。
获取AuraJobV2端点名称具体操作,请参见查看Aura端点详情。
- agencyName(可选):String类型。委托名称,用于获取长期有效的委托凭证,解决长时间运行SQL时用户token过期问题。委托名称获取,请参见创建自定义委托。
- cpu(可选):long类型。会话指定的计算节点CPU资源规格,单位:毫核,范围 (0, 48000]。
- memory(可选):long类型。会话指定的计算节点内存资源规格,单位:MiB,范围 (0, 393216]。
以下代码封装了一个获取Aura数据库连接的方法:加载Aura JDBC驱动,通过Properties传入workspaceId、endpointName、AK/SK(AccessKeyID、SecretAccessKey)和安全令牌(SecurityToken)等认证参数,调用DriverManager.getConnection()建立连接,并返回Connection对象。1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
public static Connection GetConnection() { //驱动类。 String driver = "com.huaweicloud.aidatalake.aura.jdbc.Driver"; //数据库连接描述符。 String sourceURL = "jdbc:aura://fabric.cn-north-4.myhuaweicloud.com:443/fabricsql_default?"; Connection conn = null; Properties properties = new Properties(); try { //加载驱动。 Class.forName(driver); } catch (ClassNotFoundException e ){ e.printStackTrace(); return null; } try { properties.setProperty("workspaceId", ""); properties.setProperty("endpointName", ""); properties.setProperty("AccessKeyID", ""); properties.setProperty("SecretAccessKey", ""); properties.setProperty("SecurityToken", ""); //创建连接。 conn = DriverManager.getConnection(sourceURL, properties); System.out.println("Connection succeed!"); } catch (SQLException e) { e.printStackTrace(); return null; } return conn; }
- 在完成相应的数据操作后,执行以下命令关闭连接。
conn.close()
步骤三:提交作业
- 调用Connection的createStatement方法创建语句对象。
Statement stmt = con.createStatement();
- 调用Statement的executeUpdate方法执行SQL语句。
stmt.executeUpdate("CREATE TABLE customer_t1(c_customer_sk INTEGER, c_customer_name VARCHAR(32))"); - 关闭语句对象。
stmt.close();
完整示例
本示例通过使用JDBC连接AuraJobV2端点,演示建表、插入、查询、删表的完整SQL操作流程,基于aidatalake-aura-jdbc驱动包,驱动类名为com.huaweicloud.aidatalake.aura.jdbc.Driver。
注意事项:
- UPDATE语句仅支持Iceberg表和Lance表,非Iceberg表和Lance表执行UPDATE会报错。
- PreparedStatement批处理(addBatch+executeBatch)不支持绑定参数,请逐条执行INSERT。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBCTest
{
private static final String AKEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxx";
private static final String SKEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
private static final String STK = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
// 创建数据库连接。
public static Connection getConnection() {
// 使用aidatalake-aura-jdbc驱动包时,驱动类名为 com.huaweicloud.aidatalake.aura.jdbc.Driver
String driver = "com.huaweicloud.aidatalake.aura.jdbc.Driver";
// 连接URL格式:jdbc:aura://<终端节点地址>:<端口>/<catalog 名称>?<参数>
String url = "jdbc:aura://fabric.cn-north-4.myhuaweicloud.com:443/fabricsql_default?"
+ "workspaceId=xxxxxxxxxxxxxxxxxxxxxxxxxxx&"
+ "endpointName=xxxxxxxxxxxx&"
+ "AccessKeyID=" + AKEY + "&"
+ "SecretAccessKey=" + SKEY + "&"
+ "SecurityToken=" + STK;
System.out.println("url : " + url);
Connection conn = null;
try {
// 加载数据库驱动。
Class.forName(driver);
} catch (ClassNotFoundException e) {
e.printStackTrace();
return null;
}
try {
// 创建数据库连接。
conn = DriverManager.getConnection(url);
System.out.println("Connection succeed!");
} catch (SQLException e) {
e.printStackTrace();
return null;
}
return conn;
}
// 执行普通SQL语句,创建customer_t1表。
public static void CreateTable(Connection conn) {
Statement stmt = null;
try {
stmt = conn.createStatement();
// 如果表已存在则先删除。
try {
stmt.executeUpdate("DROP TABLE IF EXISTS customer_t1");
System.out.println("Drop table succeed!");
} catch (Exception e) {
System.out.println("Drop table failed (may not exist): " + e.getMessage());
}
// 创建表。
stmt.executeUpdate("CREATE TABLE customer_t1(c_customer_sk INTEGER, c_customer_name VARCHAR(32))");
stmt.close();
System.out.println("Create table succeed!");
} catch (Exception e) {
System.out.println("Create table failed: " + e.getMessage());
if (stmt != null) {
try {
stmt.close();
} catch (SQLException e1) {
e1.printStackTrace();
}
}
}
}
// 执行预处理语句,逐条插入数据。
public static void InsertData(Connection conn) {
PreparedStatement pst = null;
try {
pst = conn.prepareStatement("INSERT INTO customer_t1 VALUES (?,?)");
for (int i = 0; i < 3; i++) {
pst.setInt(1, i);
pst.setString(2, "data " + i);
pst.executeUpdate();
}
pst.close();
System.out.println("Insert data succeed!");
} catch (Exception e) {
System.out.println("Insert data failed: " + e.getMessage());
if (pst != null) {
try {
pst.close();
} catch (SQLException e1) {
e1.printStackTrace();
}
}
}
}
// 执行查询语句,读取数据。
public static void QueryData(Connection conn) {
Statement stmt = null;
ResultSet rs = null;
try {
stmt = conn.createStatement();
// 执行 SQL 查询。
rs = stmt.executeQuery("SELECT c_customer_sk, c_customer_name FROM customer_t1");
while (rs.next()) {
// 读取结果集中的数据。
int sk = rs.getInt(1);
String name = rs.getString(2);
System.out.println("sk=" + sk + ", name=" + name);
}
rs.close();
stmt.close();
System.out.println("Query succeed!");
} catch (Exception e) {
System.out.println("Query failed: " + e.getMessage());
if (rs != null) {
try {
rs.close();
} catch (SQLException e1) {
e1.printStackTrace();
}
}
if (stmt != null) {
try {
stmt.close();
} catch (SQLException e1) {
e1.printStackTrace();
}
}
}
}
// 删除表。
public static void DropTable(Connection conn) {
Statement stmt = null;
try {
stmt = conn.createStatement();
stmt.executeUpdate("DROP TABLE customer_t1");
stmt.close();
System.out.println("Drop table succeed!");
} catch (Exception e) {
System.out.println("Drop table failed: " + e.getMessage());
if (stmt != null) {
try {
stmt.close();
} catch (SQLException e1) {
e1.printStackTrace();
}
}
}
}
/**
* 主程序,逐步调用各静态方法。
*/
public static void main(String[] args) {
// 创建数据库连接。
Connection conn = getConnection();
if (conn == null) {
System.out.println("Connection failed!");
return;
}
// 创建表。
CreateTable(conn);
// 插入数据。
InsertData(conn);
// 查询数据。
QueryData(conn);
// 删除表。
DropTable(conn);
// 关闭数据库连接。
try {
conn.close();
System.out.println("Connection closed.");
} catch (SQLException e) {
e.printStackTrace();
}
}
}