更新时间:2026-11-05 GMT+08:00
分享

Spark SDK获取与初始化

对AIDataLake服务提供的Spark API的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。

前提条件

已完成Python环境配置。

步骤一:获取SDK

下载SDK文件,并建议您同时下载.sha256文件,该文件可用于验证SDK包的完整性。验证方法请参考步骤二:验证SDK包的完整性。

步骤二:验证SDK包的完整性

下载SDK安装包时,您需要同时下载.sha256文件,用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。

  1. 查询SDK安装包的SHA - 256哈希值
    • 在Windows系统中
      1. 在开始菜单中搜索“cmd”打开命令窗口。
      2. 使用cd命令切换到保存SDK安装包的文件夹目录。

        例如:SDK安装包保存在D盘的“SDK”文件夹中,输入cd D:\SDK。

      3. 执行以下命令
        certutil -hashfile SDK安装包文件名 SHA256

        将“SDK安装包文件名”替换为实际的SDK安装包文件名,如aidatalake-python-sdk-1.0.0-261027.tar.gz。

      4. 命令执行后,命令提示符会输出SDK安装包的SHA - 256哈希值。
    • 在Linux系统中
      1. 使用cd命令切换到保存SDK安装包的文件夹目录。

        例如,如果SDK安装包保存在用户主目录下的“SDK”文件夹中,输入cd ~/SDK。

      2. 输入查询命令:
        sha256sum SDK安装包文件名

        将“SDK安装包文件名”替换为实际的SDK安装包文件名,如aidatalake-python-sdk-1.0.0-261027.tar.gz 。

      3. 命令执行后,终端会输出SDK安装包的SHA - 256哈希值。
  2. 对比哈希值
    1. 使用文本编辑器打开下载的.sha256文件。
    2. 在.sha256文件中找到SDK安装包的SHA - 256哈希值。

      通常是一个长字符串,例如“a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx”。

    3. 将步骤1查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
      • 如果两个哈希值完全一致,说明SDK安装包在下载过程中没有被篡改,文件是完整的。
      • 如果哈希值不一致,这可能意味着SDK安装包在下载过程中出现了错误,或者文件被恶意修改。

        此时,建议重新下载SDK安装包和对应的.sha256文件,然后再次进行验证。

步骤三:安装SDK

  1. 单击aidatalake-python-sdk-x.x.x.tar.gz下载SDK包。
  2. 解压SDK安装包。
    tar -xzf aidatalake-python-sdk-x.x.x.tar.gz
  3. 打开命令行窗口,解压后进入目录安装。
    cd aidatalake-python-sdk-x.x.x 
    python setup.py install

步骤四:初始化

用AIDataLake SDK工具访问AIDataLake,需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。

from huaweicloudsdkaidatalake.v2.aidatalake_client import AIDataLakeClient

client = AidatalakeClient(
    region="cn-north-4",
    project_id="xxxx-xxxx",
    workspace_id="xxx-xxxx",
    ak="xxxx",
    sk="xxxx",
    security_token="xxx",
    endpoint="{regionName}.myhuaweicloud.com",
    obs_endpoint="obs.{regionName}.myhuaweicloud.com",
    endpoint_name="spark-job/sql-xxx"
)
表1 参数详情

参数

必须配置

默认值

描述

region

是

无

区域名称。

project_id

是

无

项目ID。

workspace_id

是

无

工作空间ID。

ak

是

无

访问密钥ID。

sk

是

无

访问密钥密码。

security_token

否

无

使用临时凭证时使用。

endpoint

是

无

Aidatalake URL。

obs_endpoint

否

无

OBS Endpoint

不设置时默认使用obs.{RegionName}.myhuaweicloud.com)

endpoint_name

否

无

AIDataLake Endpoint,如:fabric.{regionName}.myhuaweicloud.com

相关文档