# Spark SDK获取与初始化
对AIDataLake服务提供的Spark API的封装，以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。
#### 前提条件
已完成[Python环境配置](https://support.huaweicloud.com/sdkreference-aidatalake/aidatalake_09_0006.html)。
#### 步骤一：获取SDK
下载SDK文件，并建议您同时下载.sha256文件，该文件可用于验证SDK包的完整性。验证方法请参考[步骤二：验证SDK包的完整性]。
- [SDK安装包链接](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-python-sdk/spark/aidatalake-python-sdk-1.0.0-261027.tar.gz)
- [校验文件（SHA256）链接](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-python-sdk/spark/aidatalake-python-sdk-1.0.0-261027.tar.gz.sha256)
 
 #### 步骤二：验证SDK包的完整性
下载SDK安装包时，您需要同时下载.sha256文件，用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。
1. **查询SDK安装包的SHA - 256哈希值**
   - **在Windows系统中**
     1. 在开始菜单中搜索"cmd"打开命令窗口。
     
     2. 使用cd命令切换到保存SDK安装包的文件夹目录。 例如：SDK安装包保存在D盘的"SDK"文件夹中，输入**cd D:\\SDK**。
        
     
     3. 执行以下命令
        ```
        certutil -hashfile SDK安装包文件名 SHA256
        ```
        将"SDK安装包文件名"替换为实际的SDK安装包文件名，如aidatalake-python-sdk-1.0.0-261027.tar.gz。
        
     
     4. 命令执行后，命令提示符会输出SDK安装包的SHA - 256哈希值。
      
   
   
   
   - **在Linux系统中**
     1. 使用cd命令切换到保存SDK安装包的文件夹目录。 例如，如果SDK安装包保存在用户主目录下的"SDK"文件夹中，输入**cd \~/SDK**。
        
     
     2. 输入查询命令：
        ```
        sha256sum SDK安装包文件名
        ```
        将"SDK安装包文件名"替换为实际的SDK安装包文件名，如aidatalake-python-sdk-1.0.0-261027.tar.gz 。
        
     
     3. 命令执行后，终端会输出SDK安装包的SHA - 256哈希值。
      
    
2. **对比哈希值**
   1. 使用文本编辑器打开下载的.sha256文件。
   
   2. 在.sha256文件中找到SDK安装包的SHA - 256哈希值。 通常是一个长字符串，例如"a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx"。
      
   
   3. 将[步骤1]查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
      - 如果两个哈希值完全一致，说明SDK安装包在下载过程中没有被篡改，文件是完整的。
      
      - 如果哈希值不一致，这可能意味着SDK安装包在下载过程中出现了错误，或者文件被恶意修改。 此时，建议重新下载SDK安装包和对应的.sha256文件，然后再次进行验证。
        
       
    
 
#### 步骤三：安装SDK
1. 单击[aidatalake-python-sdk-x.x.x.tar.gz](https://ai-datalake-sdk.obs.cn-north-4.myhuaweicloud.com:443/aidatalake-python-sdk/spark/aidatalake-python-sdk-1.0.0-261027.tar.gz)下载SDK包。
2. 解压SDK安装包。
   ```
   tar -xzf aidatalake-python-sdk-x.x.x.tar.gz
   ```
   
3. 打开命令行窗口，解压后进入目录安装。
   ```
   cd aidatalake-python-sdk-x.x.x 
   python setup.py install
   ```
   
 
#### 步骤四：初始化
用AIDataLake SDK工具访问AIDataLake，需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。
```
from huaweicloudsdkaidatalake.v2.aidatalake_client import AIDataLakeClient
client = AidatalakeClient(
    region="cn-north-4",
    project_id="xxxx-xxxx",
    workspace_id="xxx-xxxx",
    ak="xxxx",
    sk="xxxx",
    security_token="xxx",
    endpoint="{regionName}.myhuaweicloud.com",
    obs_endpoint="obs.{regionName}.myhuaweicloud.com",
    endpoint_name="spark-job/sql-xxx"
)
```
表1参数详情 
| 参数             | 必须配置 | 默认值 | 描述                                                                                             |
|:---|:---|:---|:---|
| region         | 是      | 无   | 区域名称。                                                                                        |
| project_id      | 是      | 无 | 项目ID。                                                                                          |
| workspace_id        | 是     | 无  | 工作空间ID。                                                                                         |
| ak             | 是     | 无  | 访问密钥ID。                                                                                        |
| sk           | 是     | 无  | 访问密钥密码。                                                                                        |
| security_token | 否      | 无   | 使用临时凭证时使用。                                                                                    |
| endpoint       | 是     | 无 | Aidatalake URL。                                                                                |
| obs_endpoint   | 否      | 无  | OBS Endpoint 不设置时默认使用obs.{RegionName}.myhuaweicloud.com) |
| endpoint_name   | 否      | 无 | AIDataLake Endpoint，如：fabric.{regionName}.myhuaweicloud.com                                   |
   
