# 通过JDBC连接SparkSQL端点并提交作业
JDBC驱动是AI DataLake SparkSQL提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于AI DataLake执行海量数据的分布式计算查询。 JDBC驱动还可以用于连接AI DataLake SparkSQL和支持JDBC的工具。
本节操作介绍使用AI DataLake JDBC提交查询SQL的操作方法。
#### 步骤一：下载并安装JDBC驱动
1. 单击[aidatalake-spark-jdbc-x.x.x.jar](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-java-sdk/spark/aidatalake-spark-sdk-1.0-261027.tar.gz)下载JDBC包，安装到本地Maven仓库。
2. 执行如下命令安装JDBC驱动。
   ```
   mvn install:install-file -Dfile={{jar包本地路径}} -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-jdbc -Dversion={{jar版本Id}} -Dpackaging=jar
   ```
   
 
#### 步骤二：初始化客户端
- **方式一：**
  ```
  1) 加载驱动
  Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
  2) 创建Connection
  jdbc:aidatalakespark://<endPoint>/projectId?<key1>=<val1>;<key2>=<val2>...
  ```
  详细参数说明请参见[表1]和[表2]。
   表1驱动连接配置信息参数说明 
  | 参数                  | 说明                                          | 获取方式                                                                                                       |
  |:---|:---|:---|
  | endPoint           | 地区与终端节点，即AI DataLake云服务在不同Region有不同的访问域名。     | [地区和终端节点](https://console.huaweicloud.com/apiexplorer/#/endpoint/DataArtsFabric)                         |
  | projectId        | AI DataLake所在的项目ID。                           | 鼠标悬浮在[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)页面右上角账号信息位置，单击"我的凭证"，在"项目列表"区域获取的目标项目ID信息。 |
  | \<key1\>=\<val1\> | 连接中? 后面接其他配置项，每个配置项以key=value的形式列出，配置项之间以;隔开。 | 请参考[表2]。                                                        |
     
   表2key=value参数说明 
  | 参数                        | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                 | 示例值                                                           |
  |:---|:---|:---|
  | accesskey和secretkey       | 华为云账号的AK和SK。 获取AK和SK信息，请参见[访问密钥](https://support.huaweicloud.com/usermanual-ca/ca_05_0003.html)。                                                                                                                                                                                                                                                                                               | -                                                               |
  | regionName              | AI DataLake的区域名称。                                                                                                                                                                                                                                                                                                                                                                                                                  | cn-north-7                                                   |
  | endpointname              | AI DataLake服务的SparkSQL端点名称。 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)，在"引擎端点"下的"批处理引擎Spark"页面找到目标SparkSQL端点名称。                                                                                                                                                                                                                                                              | spark-sql-test                                                 |
  | database                 | 默认访问的数据库名称。                                                                                                                                                                                                                                                                                                                                                                                                                         | default                                                       |
  | aidatalake.workspaceId   | AI DataLake工作空间ID。 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)，在"工作空间管理"页面找到目标工作空间ID。                                                                                                                                                                                                                                                                                        | spark                                                         |
  | catalog                   | 数据目录名称。 - 使用LakeFormation catalog时必填，对应的LakeFormation catalog名称。 查询LakeFormation catalog时， catalog下面必须有 default数据库。   - 不填写时默认AI DataLake catalog，使用AI DataLake catalog时无需配置该参数。   | 假设使用名称为lfcatalog的LakeFormation catalog时，配置如下：catalog=lfcatalog |
  | lakeformation.instanceId | LakeFormation实例ID。 获取方法请参见[如何获取LakeFormation实例ID](https://support.huaweicloud.com/lakeformation_faq/lakeformation_05_0007.html)                                                                                                                                                                                                                                                                | ae6dd098-\*\*\*-\*\*\*\*\*-c02\*\*\*def36d                   |
  | obs.endpoint             | OBS的EndPoint。 获取方法请参见[终端节点（Endpoint）和访问域名](https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html)。                                                                                                                                                                                                                                                                                 | -                                                            |
     
  
- **方式二：**
  ```
  1) 加载驱动
  Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
  2) 创建Connection
  String url = "jdbc:aidatalakespark://<endPoint>/projectId";
  Properties p = new Properties();
  p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "yourRegionName");
  p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName");
  p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName");
  p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDatabase");
  p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK");
  p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK");
  p.setProperty(ConnectionContext.TOKEN_PROP_KEY, "yourSecurityToken");
  p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "lfInstanceId");
  p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId");
  p.setProperty(ConnectionContext.JOB_TIMEOUT_PROP_KEY, "300");
  p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obsEndpoint");
  try (Connection conn = DriverManager.getConnection(String url, Properties info)) {
  }
  ```
  表3参数详情 
  | 参数                      | 必须配置 | 默认值    | 描述                                                       |
  |:---|:---|:---|:---|
  | regionName            | 是    | 无     | 区域名称。                                                     |
  | projectId                | 是  | 无     | 项目ID。                                                      |
  | WORKSPACE_ID_PROP_KEY   | 是      | 无    | 工作空间ID。                                                   |
  | LF_INSTANCE_ID_PROP_KEY  | 是    | 无     | 工作空间绑定的LakeFormation实例ID。                                  |
  | ACCESS_KEY_PROP_KEY    | 是   | 无    | 访问密钥ID。                                                     |
  | SECRET_KEY_PROP_KEY     | 是     | 无       | 访问密钥密码。                                                    |
  | ENDPOINT_NAME_PROP_KEY | 是   | 无    | Spark端点名称。                                                  |
  | CATALOG_PROP_KEY        | 是    | 无      | SQL执行时默认LakeFormation Catalog。                             |
  | DATABASE_PROP_KEY        | 是    | 无      | SQL执行时默认LakeFormation数据库。                                 |
  | TOKEN_PROP_KEY        | 否     | 无    | 使用临时凭证时使用。                                                 |
  | JOB_TIMEOUT_PROP_KEY    | 否   | 300秒 | 作业超时时间，超时报错。                                               |
  | OBS_ENDPOINT_KEY         | 否     | 无    | OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com) |
     
  
 
#### 步骤三：提交SQL作业
- 确保使用的计算资源和端点为可用状态。
- API和SQL作业相关权限已配置，权限详情请参见[权限及授权项说明](https://support.huaweicloud.com/api-aidatalake/aidatalake_02_0021.html)。
- 样例代码
  - 同步提交查询SQL
    ```
    public static void submit(String url, Properties properties) throws SQLException {
        try (Connection connection = DriverManager.getConnection(url, properties)) {
            Statement statement = connection.createStatement();
            try (ResultSet rs = statement.executeQuery("select xxxx")) {
                while (rs.next()) {
                    String col1 = rs.getString(1);
                    System.out.println(col1);
                }
            }
        }
    }
    ```
    
  
  - 设置Spark配置参数
    ```
    public static void submit(String url, Properties properties) throws SQLException {
        try (Connection connection = DriverManager.getConnection(url, properties)) {
            Statement statement = connection.createStatement();
            // All spark configs shall start with "spark."
            statement.execute("SET spark.sql.shuffle.partitions=200");
            try (ResultSet rs = statement.executeQuery("select xxxx")) {
                while (rs.next()) {
                    String col1 = rs.getString(1);
                    System.out.println(col1);
                }
            }
            // To reset spark config
            statement.execute("RESET spark.sql.shuffle.partitions");
            try (ResultSet rs = statement.executeQuery("select xxxx")) {
                while (rs.next()) {
                    String col1 = rs.getString(1);
                    System.out.println(col1);
                }
            }
        }
    }
    ```
    
  
  - 元数据查询
    ```
    public static void query(String url, Properties properties) throws SQLException {
        try (Connection connection = DriverManager.getConnection(url, properties)) {
            AIDataLakeDatabaseMetaData metaData = (AIDataLakeDatabaseMetaData) connection.getMetaData();
            ResultSet catalogResult= metaData.getCatalogs();
            ResultSet schemaResult = metaData.getSchemas();
            ResultSet schemaFilterResult = metaData.getSchemas("catalog", "schema");
            ResultSet tableResult = metaData.getTables("catalog", "schema", "tableName", null);
        }
    }
    ```
    
   
 
#### 完整代码示例
方式二的代码示例详情如下。
```
import com.huawei.aidatalake.jdbc.model.ConnectionContext;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
public class AIDataLakeJdbcExample1 {
    public static void main(String[] args) throws SQLException {
        String url = "jdbc:aidatalakespark://<endPoint>/projectId";
        Properties p = new Properties();
        p.setProperty(ConnectionContext.REGION_NAME_PROP_KEY, "cn-north-7");
        p.setProperty(ConnectionContext.ENDPOINT_NAME_PROP_KEY, "yourEndpointName");
        p.setProperty(ConnectionContext.CATALOG_PROP_KEY, "yourCatalogName");
        p.setProperty(ConnectionContext.DATABASE_PROP_KEY, "yourDB");
        p.setProperty(ConnectionContext.ACCESS_KEY_PROP_KEY, "yourAK");
        p.setProperty(ConnectionContext.SECRET_KEY_PROP_KEY, "yourSK");
        p.setProperty(ConnectionContext.OBS_ENDPOINT_KEY, "obs.cn-north-7.myhuaweicloud.com");
        p.setProperty(ConnectionContext.LF_INSTANCE_ID_PROP_KEY, "instanceId");
        p.setProperty(ConnectionContext.WORKSPACE_ID_PROP_KEY, "workspaceId");
        try {
            Class.forName("com.huawei.aidatalake.jdbc.AIDataLakeDriver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        try (Connection connection = DriverManager.getConnection(url, p)) {
            Statement statement = connection.createStatement();
            try (ResultSet rs = statement.executeQuery("select xxxx")) {
                while (rs.next()) {
                    String col1 = rs.getString(1);
                    System.out.println(col1);
                }
            }
        }
    }
}
```
