上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”） hive-site.xml HDFS的“/user/developuser/myjobs/apps/spark2x”目录 hbase-site.xml 准备 MRS 应用开发用户时得到的keytab文件

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用

查看更多 →

华为云OBS之间迁移教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题： 各云服务商迁移教程

查看更多 →

属用户组”。 在“用户组”页面，搜索该用户的所属用户组，在用户组的操作列，单击“权限配置”，查看已经授予的IAM权限。 桶策略检查方法 使用资源拥有者账号登录华为云，在右上角单击“控制台”。 在服务列表中选择“存储 > 对象存储服务 OBS”。 在“对象存储”的桶列表中搜索访问失败的桶，单击桶名称，进入“对象”页面。

查看更多 →

Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS，因此在登录OBS Browser+时，“服务提供商”和“ 服务器 地址”需要按照以下要求填写： 服务提供商：选择“其他对象存储服务”。 服务器地址：根据E CS

查看更多 →

my 下载OBS Browser+ OBS Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS，因此在登录OBS Browser+添加账号时，“服务提供商”和“服务器地址”需要按照以下要求填写：

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

location "obs://test-bucket/test_obs"; Spark访问OBS 由于SparkSQL依赖Hive，所以在Spark上配置OBS时，需要同时修改Hive访问OBS的OBS配置。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务

查看更多 →

通过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]

查看更多 →

通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();

查看更多 →

通过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]

查看更多 →

过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。

查看更多 →

作业运维报错 运行Spark作业报java.lang.AbstractMethodError Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists

查看更多 →

Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问 DLI 元数据 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业 使用Spark作业跨源访问数据源

查看更多 →

访问OBS 域名 失败，连接不上CA证书 在证书不受信的情况下，访问OBS域名会失败，需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书（以Chrome浏览器为例）。 在浏览器中访问OBS域名：https://obs.myhuaweicloud.com。 单击域名左侧的，选择“证书”。

查看更多 →

使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 父主题： 作业运维报错

查看更多 →

OBS 对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

表1 OBS上传对象的不同访问方式 访问方式 上传对象方法 控制台 通过控制台上传对象 OBS Browser+ 通过OBS Browser+上传对象 obsutil 通过obsutil上传对象 SDK 使用SDK上传对象 ，具体参考各语言开发指南的上传对象章节 API PUT上传 、POST上传

查看更多 →