Spark SDK的获取与初始化
对AIDataLake服务提供的Spark API的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用提交Spark SQL和Spark Job作业。本文为您介绍如何进行Spark SDK的获取与初始化。
前提条件
已完成Java环境配置。
步骤二:验证SDK包的完整性
下载SDK安装包时,您需要同时下载.sha256文件,用于验证SDK包的完整性。本节介绍使用.sha256文件验证SDK包的完整性的操作步骤。
- 查询SDK安装包的SHA - 256哈希值
- 在Windows系统中
- 对比哈希值
- 使用文本编辑器打开下载的.sha256文件。
- 在.sha256文件中找到SDK安装包的SHA - 256哈希值。
通常是一个长字符串,例如“a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6xxxxxxxxxxxxxxxxxxxxxxxx”。
- 将步骤1查询得到的SDK安装包的SHA - 256哈希值与.sha256文件中的哈希值进行对比。
步骤三:安装SDK
- 单击aidatalake-spark-sdk-x.x.x.jar下载SDK包。
- 执行以下命令将jar包安装到本地Maven仓库。使用如下命令安装SDK。
mvn install:install-file -Dfile=aidatalake-spark-sdk-x.x.x.jar -DgroupId=com.huawei.aidatalake -DartifactId=aidatalake-spark-sdk -Dversion=x.x.x -Dpackaging=jar
- 在pom.xml中添加依赖。
<dependency> <groupId>com.huawei.aidatalake</groupId> <artifactId>aidatalake-spark-sdk</artifactId> <version>x.x.x</version> </dependency>
步骤四:初始化客户端
使用AIDataLake SDK工具访问AIDataLake,需要用户初始化AIDataLake客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)认证方式初始化客户端。
// 初始化客户端上下文
JobClientContext jobContext = new JobClientContext();
jobContext.setRegionName("cn-north-4");
jobContext.setProjectId("xxxx-xxxx");
jobContext.setWorkspaceId("xxx-xxxx");
jobContext.setLakeformationInstanceId("xxxx-xxxx");
jobContext.setEndpointName("xxxx");
// 用ststoken凭证
jobContext.setCredentialProvider(StaticCredentialProvider.create("{accesskey}", "{secretKey}", "{securityToken}", "{projectId}"));
jobClientContext.setAiDataLakeEndpoint("xxx.xxxx");
jobClientContext.setLakeformationInstanceId("xxx-xxxx");
jobClientContext.setObsEndpoint("xxx.xxxx");
// 初始化AIDataLakeSparkSqlClient spark-sql客户端
AIDataLakeSparkSqlClient sparkSqlClient = new AIDataLakeSparkSqlClient(jobContext);
// 初始化AIDataLakeSparkJobClient spark-job客户端
AIDataLakeSparkJobClient sparkJobClient = new AIDataLakeSparkJobClient(jobContext);
// 初始化AIDataLakeLakeFormationClient schema元数据查询客户端
AIDataLakeLakeFormationClient lakeformationClient = new AIDataLakeLakeFormationClient(jobContext); | 参数 | 必须配置 | 默认值 | 描述 |
|---|---|---|---|
| RegionName | 是 | 无 | 区域名称。 |
| ProjectId | 是 | 无 | 项目ID。 |
| WorkspaceId | 是 | 无 | 工作空间ID。 |
| Lakeformation InstanceId | 是 | 无 | 工作空间绑定的LakeFormation实例ID。 |
| AccessKey | 是 | 无 | 访问密钥ID。 |
| SecretKey | 是 | 无 | 访问密钥密码。 |
| SecurityToken | 否 | 无 | 使用临时凭证时使用。 |
| EndPointName | 是 | 无 | AIDataLake Endpoint, 如:fabric.{regionName}.myhuaweicloud.com |
| ObsEndpoint | 否 | 无 | OBS Endpoint(不设置默认使用: obs.{RegionName}.myhuaweicloud.com) |