# Spark SDK的获取与初始化
对AIDataLake服务提供的Spark API的封装，以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。
#### 前提条件
已完成[Java环境配置](https://support.huaweicloud.com/sdkreference-aidatalake/aidatalake_09_0054.html)。
#### 步骤一：获取SDK
下载SDK文件，并建议您同时下载.sha256文件，该文件可用于验证SDK包的完整性。验证方法请参考[步骤二：验证SDK包的完整性]。
- [SDK安装包链接](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-java-sdk/spark/aidatalake-spark-sdk-1.0-261030.tar.gz)
- [校验文件（SHA256）链接](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-java-sdk/spark/aidatalake-spark-sdk-1.0-261030.tar.gz.sha256)
 
 #### 步骤二：验证SDK包的完整性
下载SDK安装包时，您需要同时下载.sha256文件，用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。
1. **查询SDK安装包的SHA - 256哈希值**
   - **在Windows系统中**
     1. 在开始菜单中搜索"cmd"打开命令窗口。
     
     2. 使用cd命令切换到保存SDK安装包的文件夹目录。 例如：SDK安装包保存在D盘的"SDK"文件夹中，输入**cd D:\\SDK**。
        
     
     3. 执行以下命令
        ```
        certutil -hashfile SDK安装包文件名 SHA256
        ```
        将"SDK安装包文件名"替换为实际的SDK安装包文件名，如aidatalake-spark-sdk-1.0-261030.tar.gz。
        
     
     4. 命令执行后，命令提示符会输出SDK安装包的SHA - 256哈希值。
      
   
   
   
   - **在Linux系统中**
     1. 使用cd命令切换到保存SDK安装包的文件夹目录。 例如，如果SDK安装包保存在用户主目录下的"SDK"文件夹中，输入**cd \~/SDK**。
        
     
     2. 输入查询命令：
        ```
        sha256sum SDK安装包文件名
        ```
        将"SDK安装包文件名"替换为实际的SDK安装包文件名，如aidatalake-spark-sdk-1.0-261030.tar.gz。
        
     
     3. 命令执行后，终端会输出SDK安装包的SHA - 256哈希值。
      
    
2. **对比哈希值**
   1. 使用文本编辑器打开下载的.sha256文件。
   
   2. 在.sha256文件中找到SDK安装包的SHA - 256哈希值。 通常是一个长字符串，例如"a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx"。
      
   
   3. 将[步骤1]查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
      - 如果两个哈希值完全一致，说明SDK安装包在下载过程中没有被篡改，文件是完整的。
      
      - 如果哈希值不一致，这可能意味着SDK安装包在下载过程中出现了错误，或者文件被恶意修改。 此时，建议重新下载SDK安装包和对应的.sha256文件，然后再次进行验证。
        
       
    
 
#### 步骤三：安装SDK
1. 单击[aidatalake-spark-sdk-x.x.x.jar](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-java-sdk/spark/aidatalake-spark-sdk-1.0-261027.tar.gz)下载SDK包。
2. 执行以下命令将jar包安装到本地Maven仓库。使用如下命令安装SDK。
   ```
   mvn install:install-file -Dfile=aidatalake-spark-sdk-x.x.x.jar -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-sdk -Dversion=x.x.x -Dpackaging=jar
   ```
   
3. 在pom.xml中添加依赖。
   ```
   <dependency>
       <groupId>com.huawei.aidatalake</groupId>
       <artifactId>aidatalake-spark-sdk</artifactId>
       <version>x.x.x</version>
   </dependency>
   ```
   
 
#### 步骤四：初始化客户端
使用AIDataLake SDK工具访问AIDataLake，需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。
```
// 初始化客户端上下文
JobClientContext jobContext = new JobClientContext();
jobContext.setRegionName("cn-north-4");
jobContext.setProjectId("xxxx-xxxx");
jobContext.setWorkspaceId("xxx-xxxx");
jobContext.setLakeformationInstanceId("xxxx-xxxx");
jobContext.setEndpointName("xxxx");
// 用ststoken凭证
jobContext.setCredentialProvider(StaticCredentialProvider.create("{accesskey}", "{secretKey}", "{securityToken}", "{projectId}"));
jobClientContext.setAiDataLakeEndpoint("xxx.xxxx");
jobClientContext.setLakeformationInstanceId("xxx-xxxx");
jobClientContext.setObsEndpoint("xxx.xxxx");
// 初始化AIDataLakeSparkSqlClient spark-sql客户端
AIDataLakeSparkSqlClient sparkSqlClient = new AIDataLakeSparkSqlClient(jobContext);
// 初始化AIDataLakeSparkJobClient spark-job客户端
AIDataLakeSparkJobClient sparkJobClient = new AIDataLakeSparkJobClient(jobContext);
// 初始化AIDataLakeLakeFormationClient schema元数据查询客户端
AIDataLakeLakeFormationClient lakeformationClient = new AIDataLakeLakeFormationClient(jobContext);
```
表1参数详情 
| 参数                       | 必须配置 | 默认值 | 描述                                                            |
|:---|:---|:---|:---|
| RegionName               | 是      | 无   | 区域名称。                                                       |
| ProjectId                | 是      | 无 | 项目ID。                                                         |
| WorkspaceId             | 是     | 无  | 工作空间ID。                                                        |
| Lakeformation InstanceId | 是     | 无   | 工作空间绑定的LakeFormation实例ID。                                   |
| AccessKey                | 是     | 无  | 访问密钥ID。                                                       |
| SecretKey              | 是     | 无  | 访问密钥密码。                                                       |
| SecurityToken            | 否      | 无   | 使用临时凭证时使用。                                                   |
| EndPointName               | 是     | 无 | AIDataLake Endpoint, 如：fabric.{regionName}.myhuaweicloud.com |
| ObsEndpoint              | 否      | 无 | OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com)    |
   
