IntelliJ IDEA等平台 示例代码参考 打开插件左侧主面板：点击IDEA左侧工具框中的"Huawei Cloud Toolkit"工具按钮、点击插件主面板中的API主页，则可打开华为云API插件主面板 。 在搜索框中搜索示例代码。同时下面的热门推荐会为您展示最近有哪些常用的示例代码。

查看更多 →

IntelliJ IDEA等平台 点击左侧菜单中的Huawei Cloud Toolkit图标，打开插件主面板，选择右上角的用户头像按钮，在弹出的页面选择华为云AK/SK登录、华为账号登录或者 CS DN账号登录。 图1 选择AK/SK登录，会进入Setting面板，填入AK、SK后点击apply进行登录操作。

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

如何使用Windows远程桌面连接工具连接主机？ 操作步骤 在本地主机上选择“开始 > 运行”，输入命令mstsc，打开Windows“远程桌面连接”工具。 单击“选项”，选择“本地资源”页签，在“本地设备和资源”区域中，勾选“剪贴板”，如图1所示。 图1 远程桌面连接 选择“常规”页

查看更多 →

使用Spark连接Cassandra失败 问题描述 用户使用Spark连接开源Cassandra，读取数据没问题，但是连接GeminiDB Cassandra就报错。 报错信息如下： 配置详情 如下为用户使用的组件及账号配置详情。 组件配置详情。 表1 配置详情 组件名 版本号

查看更多 →

选择Spark组件的版本。 用户名 是 MRS 集群的人机用户，通过代理连接时是必选项。如果使用新建的MRS用户进行连接，您需要先登录Manager页面，并更新初始密码。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法

查看更多 →

如何使用Windows远程桌面连接工具连接主机？ 操作步骤 在本地主机上选择“开始 > 运行”，输入命令mstsc，打开Windows“远程桌面连接”工具。 单击“选项”，选择“本地资源”页签，在“本地设备和资源”区域中，勾选“剪贴板”。 选择“常规”页签，在“计算机”中输入云服

查看更多 →

将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。 进入客户端目录，执行以下命令加载环境变量并登录。若安装了Spark2x多实例或者同时安装了Spark和Spark2x，在使用客户端连接具体实例时，请执行以下命令加载具体实例的环境变量。 source

查看更多 →

将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。 进入客户端目录，执行以下命令加载环境变量并登录。如果安装了Spark2x多实例或者同时安装了Spark和Spark2x，在使用客户端连接具体实例时，请执行以下命令加载具体实例的环境变量。

查看更多 →

开启远程桌面连接功能 操作场景 对于需要使用Windows远程桌面连接方式进行访问的 云服务器 ，需要在制作私有镜像时开启远程桌面连接功能。GPU优化型云 服务器 必须开启该功能。 使用外部镜像文件制作私有镜像时，开启远程桌面连接操作需要在虚拟机内部完成，建议您在原平台的虚拟机实施修改后，再导出镜像。

查看更多 →

Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

kinit MRS集群业务用户 例如： “机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-shell 父主题： 大数据业务开发

查看更多 →

样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序 Python SparkSQLJavaExample

查看更多 →

新建Spark样例工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project

查看更多 →

新建Spark样例工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project

查看更多 →

新建Spark样例工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project

查看更多 →

Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档

查看更多 →

Spark连接其他服务认证问题 问题现象 Spark连接HBase，报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1：HBase没有获取到当前任务的认证信息，导致连接HBase的时候认证失败，无法读取到相应数据。 问题2：Spar

查看更多 →

kinit MRS集群业务用户 例如： “机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命

查看更多 →

Windows：JDK安装目录\jre\lib\ext\ 安装IntelliJ IDEA和JDK工具，并进行相应的配置。 安装JDK。 安装IntelliJ IDEA工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA，选择“Configure”。 图1 Quick Start

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →