更新时间:2026-11-05 GMT+08:00
分享

Spark SDK的获取与初始化

对AIDataLake服务提供的Spark API的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。

前提条件

已完成Java环境配置。

步骤一:获取SDK

下载SDK文件,并建议您同时下载.sha256文件,该文件可用于验证SDK包的完整性。验证方法请参考步骤二:验证SDK包的完整性。

步骤二:验证SDK包的完整性

下载SDK安装包时,您需要同时下载.sha256文件,用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。

  1. 查询SDK安装包的SHA - 256哈希值
    • 在Windows系统中
      1. 在开始菜单中搜索“cmd”打开命令窗口。
      2. 使用cd命令切换到保存SDK安装包的文件夹目录。

        例如:SDK安装包保存在D盘的“SDK”文件夹中,输入cd D:\SDK。

      3. 执行以下命令
        certutil -hashfile SDK安装包文件名 SHA256

        将“SDK安装包文件名”替换为实际的SDK安装包文件名,如aidatalake-spark-sdk-1.0-261030.tar.gz。

      4. 命令执行后,命令提示符会输出SDK安装包的SHA - 256哈希值。
    • 在Linux系统中
      1. 使用cd命令切换到保存SDK安装包的文件夹目录。

        例如,如果SDK安装包保存在用户主目录下的“SDK”文件夹中,输入cd ~/SDK。

      2. 输入查询命令:
        sha256sum SDK安装包文件名

        将“SDK安装包文件名”替换为实际的SDK安装包文件名,如aidatalake-spark-sdk-1.0-261030.tar.gz。

      3. 命令执行后,终端会输出SDK安装包的SHA - 256哈希值。
  2. 对比哈希值
    1. 使用文本编辑器打开下载的.sha256文件。
    2. 在.sha256文件中找到SDK安装包的SHA - 256哈希值。

      通常是一个长字符串,例如“a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx”。

    3. 将步骤1查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
      • 如果两个哈希值完全一致,说明SDK安装包在下载过程中没有被篡改,文件是完整的。
      • 如果哈希值不一致,这可能意味着SDK安装包在下载过程中出现了错误,或者文件被恶意修改。

        此时,建议重新下载SDK安装包和对应的.sha256文件,然后再次进行验证。

步骤三:安装SDK

  1. 单击aidatalake-spark-sdk-x.x.x.jar下载SDK包。
  2. 执行以下命令将jar包安装到本地Maven仓库。使用如下命令安装SDK。
    mvn install:install-file -Dfile=aidatalake-spark-sdk-x.x.x.jar -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-sdk -Dversion=x.x.x -Dpackaging=jar
  3. 在pom.xml中添加依赖。
    <dependency>
        <groupId>com.huawei.aidatalake</groupId>
        <artifactId>aidatalake-spark-sdk</artifactId>
        <version>x.x.x</version>
    </dependency>

步骤四:初始化客户端

使用AIDataLake SDK工具访问AIDataLake,需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。

// 初始化客户端上下文
JobClientContext jobContext = new JobClientContext();
jobContext.setRegionName("cn-north-4");
jobContext.setProjectId("xxxx-xxxx");
jobContext.setWorkspaceId("xxx-xxxx");
jobContext.setLakeformationInstanceId("xxxx-xxxx");
jobContext.setEndpointName("xxxx");
// 用ststoken凭证
jobContext.setCredentialProvider(StaticCredentialProvider.create("{accesskey}", "{secretKey}", "{securityToken}", "{projectId}"));
jobClientContext.setAiDataLakeEndpoint("xxx.xxxx");
jobClientContext.setLakeformationInstanceId("xxx-xxxx");
jobClientContext.setObsEndpoint("xxx.xxxx");

// 初始化AIDataLakeSparkSqlClient spark-sql客户端
AIDataLakeSparkSqlClient sparkSqlClient = new AIDataLakeSparkSqlClient(jobContext);

// 初始化AIDataLakeSparkJobClient spark-job客户端
AIDataLakeSparkJobClient sparkJobClient = new AIDataLakeSparkJobClient(jobContext);

// 初始化AIDataLakeLakeFormationClient schema元数据查询客户端
AIDataLakeLakeFormationClient lakeformationClient = new AIDataLakeLakeFormationClient(jobContext);
表1 参数详情

参数

必须配置

默认值

描述

RegionName

是

无

区域名称。

ProjectId

是

无

项目ID。

WorkspaceId

是

无

工作空间ID。

Lakeformation InstanceId

是

无

工作空间绑定的LakeFormation实例ID。

AccessKey

是

无

访问密钥ID。

SecretKey

是

无

访问密钥密码。

SecurityToken

否

无

使用临时凭证时使用。

EndPointName

是

无

AIDataLake Endpoint, 如:fabric.{regionName}.myhuaweicloud.com

ObsEndpoint

否

无

OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com)

相关文档