通过JDBC连接SparkSQL端点并提交作业
JDBC驱动是AI DataLake SparkSQL提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于AI DataLake执行海量数据的分布式计算查询。 JDBC驱动还可以用于连接AI DataLake SparkSQL和支持JDBC的工具。
本节操作介绍使用AI DataLake JDBC提交查询SQL的操作方法。
步骤一:下载并安装JDBC驱动
- 单击aidatalake-spark-jdbc-x.x.x.jar下载JDBC包,安装到本地Maven仓库。
- 执行如下命令安装JDBC驱动。
mvn install:install-file -Dfile={{jar包本地路径}} -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-jdbc -Dversion={{jar版本Id}} -Dpackaging=jar
步骤二:初始化客户端
- 方式一:
1) 加载驱动 Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver"); 2) 创建Connection jdbc:aidatalakespark://<endPoint>/projectId?<key1>=<val1>;<key2>=<val2>...表1 驱动连接配置信息参数说明 参数
说明
获取方式
endPoint
地区与终端节点,即AI DataLake云服务在不同Region有不同的访问域名。
projectId
AI DataLake所在的项目ID。
鼠标悬浮在AI DataLake管理控制台页面右上角账号信息位置,单击“我的凭证”,在“项目列表”区域获取的目标项目ID信息。
<key1>=<val1>
连接中? 后面接其他配置项,每个配置项以key=value的形式列出,配置项之间以;隔开。
请参考表2。
表2 key=value参数说明 参数
说明
示例值
accesskey和secretkey
华为云账号的AK和SK。
获取AK和SK信息,请参见访问密钥。
-
regionName
AI DataLake的区域名称。
cn-north-7
endpointname
AI DataLake服务的SparkSQL端点名称。
登录AI DataLake管理控制台,在“引擎端点”下的“批处理引擎Spark”页面找到目标SparkSQL端点名称。
spark-sql-test
database
默认访问的数据库名称。
default
aidatalake.workspaceId
AI DataLake工作空间ID。
登录AI DataLake管理控制台,在“工作空间管理”页面找到目标工作空间ID。
spark
catalog
数据目录名称。
假设使用名称为lfcatalog的LakeFormation catalog时,配置如下:catalog=lfcatalog
lakeformation.instanceId
LakeFormation实例ID。
获取方法请参见如何获取LakeFormation实例ID
ae6dd098-***-*****-c02***def36d
obs.endpoint
OBS的EndPoint。
获取方法请参见终端节点(Endpoint)和访问域名。
-
- 方式二:
1) 加载驱动 Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver"); 2) 创建Connection String url = "jdbc:aidatalakespark://<endPoint>/projectId"; Properties p = new Properties(); p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "yourRegionName"); p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName"); p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName"); p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDatabase"); p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK"); p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK"); p.setProperty(ConnectionContext.TOKEN_PROP_KEY, "yourSecurityToken"); p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "lfInstanceId"); p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId"); p.setProperty(ConnectionContext.JOB_TIMEOUT_PROP_KEY, "300"); p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obsEndpoint"); try (Connection conn = DriverManager.getConnection(String url, Properties info)) { }表3 参数详情 参数
必须配置
默认值
描述
regionName
是
无
区域名称。
projectId
是
无
项目ID。
WORKSPACE_ID_PROP_KEY
是
无
工作空间ID。
LF_INSTANCE_ID_PROP_KEY
是
无
工作空间绑定的LakeFormation实例ID。
ACCESS_KEY_PROP_KEY
是
无
访问密钥ID。
SECRET_KEY_PROP_KEY
是
无
访问密钥密码。
ENDPOINT_NAME_PROP_KEY
是
无
Spark端点名称。
CATALOG_PROP_KEY
是
无
SQL执行时默认LakeFormation Catalog。
DATABASE_PROP_KEY
是
无
SQL执行时默认LakeFormation数据库。
TOKEN_PROP_KEY
否
无
使用临时凭证时使用。
JOB_TIMEOUT_PROP_KEY
否
300秒
作业超时时间,超时报错。
OBS_ENDPOINT_KEY
否
无
OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com)
步骤三:提交SQL作业
- 确保使用的计算资源和端点为可用状态。
- API和SQL作业相关权限已配置,权限详情请参见权限及授权项说明。
- 样例代码
- 同步提交查询SQL
public static void submit(String url, Properties properties) throws SQLException { try (Connection connection = DriverManager.getConnection(url, properties)) { Statement statement = connection.createStatement(); try (ResultSet rs = statement.executeQuery("select xxxx")) { while (rs.next()) { String col1 = rs.getString(1); System.out.println(col1); } } } } - 设置Spark配置参数
public static void submit(String url, Properties properties) throws SQLException { try (Connection connection = DriverManager.getConnection(url, properties)) { Statement statement = connection.createStatement(); // All spark configs shall start with "spark." statement.execute("SET spark.sql.shuffle.partitions=200"); try (ResultSet rs = statement.executeQuery("select xxxx")) { while (rs.next()) { String col1 = rs.getString(1); System.out.println(col1); } } // To reset spark config statement.execute("RESET spark.sql.shuffle.partitions"); try (ResultSet rs = statement.executeQuery("select xxxx")) { while (rs.next()) { String col1 = rs.getString(1); System.out.println(col1); } } } } - 元数据查询
public static void query(String url, Properties properties) throws SQLException { try (Connection connection = DriverManager.getConnection(url, properties)) { AIDataLakeDatabaseMetaData metaData = (AIDataLakeDatabaseMetaData) connection.getMetaData(); ResultSet catalogResult= metaData.getCatalogs(); ResultSet schemaResult = metaData.getSchemas(); ResultSet schemaFilterResult = metaData.getSchemas("catalog", "schema"); ResultSet tableResult = metaData.getTables("catalog", "schema", "tableName", null); } }
- 同步提交查询SQL
完整代码示例
方式二的代码示例详情如下。
import com.huawei.aidatalake.jdbc.model.ConnectionContext;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class AIDataLakeJdbcExample1 {
public static void main(String[] args) throws SQLException {
String url = "jdbc:aidatalakespark://<endPoint>/projectId";
Properties p = new Properties();
p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "cn-north-7");
p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName");
p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName");
p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDB");
p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK");
p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK");
p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obs.cn-north-7.myhuaweicloud.com");
p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "instanceId");
p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId");
try {
Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
try (Connection connection = DriverManager.getConnection(url, p)) {
Statement statement = connection.createStatement();
try (ResultSet rs = statement.executeQuery("select xxxx")) {
while (rs.next()) {
String col1 = rs.getString(1);
System.out.println(col1);
}
}
}
}
}