Spark SDK获取与初始化
对AIDataLake服务提供的Spark API的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。
前提条件
已完成Python环境配置。
步骤二:验证SDK包的完整性
下载SDK安装包时,您需要同时下载.sha256文件,用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。
- 查询SDK安装包的SHA - 256哈希值
- 在Windows系统中
- 对比哈希值
- 使用文本编辑器打开下载的.sha256文件。
- 在.sha256文件中找到SDK安装包的SHA - 256哈希值。
通常是一个长字符串,例如“a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx”。
- 将步骤1查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
步骤三:安装SDK
- 单击aidatalake-python-sdk-x.x.x.tar.gz下载SDK包。
- 解压SDK安装包。
tar -xzf aidatalake-python-sdk-x.x.x.tar.gz
- 打开命令行窗口,解压后进入目录安装。
cd aidatalake-python-sdk-x.x.x python setup.py install
步骤四:初始化
用AIDataLake SDK工具访问AIDataLake,需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。
from huaweicloudsdkaidatalake.v2.aidatalake_client import AIDataLakeClient
client = AidatalakeClient(
region="cn-north-4",
project_id="xxxx-xxxx",
workspace_id="xxx-xxxx",
ak="xxxx",
sk="xxxx",
security_token="xxx",
endpoint="{regionName}.myhuaweicloud.com",
obs_endpoint="obs.{regionName}.myhuaweicloud.com",
endpoint_name="spark-job/sql-xxx"
) | 参数 | 必须配置 | 默认值 | 描述 |
|---|---|---|---|
| region | 是 | 无 | 区域名称。 |
| project_id | 是 | 无 | 项目ID。 |
| workspace_id | 是 | 无 | 工作空间ID。 |
| ak | 是 | 无 | 访问密钥ID。 |
| sk | 是 | 无 | 访问密钥密码。 |
| security_token | 否 | 无 | 使用临时凭证时使用。 |
| endpoint | 是 | 无 | Aidatalake URL。 |
| obs_endpoint | 否 | 无 | OBS Endpoint 不设置时默认使用obs.{RegionName}.myhuaweicloud.com) |
| endpoint_name | 否 | 无 | AIDataLake Endpoint,如:fabric.{regionName}.myhuaweicloud.com |