准备Spark连接集群配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录 FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择

查看更多 →

远程连接Windows 云服务器 报错：没有远程登录的权限 问题描述 远程桌面连接时提示需要具有通过远程桌面服务进行登录的权限。 图1 缺失远程登录权限 处理方法 打开cmd运行窗口，并输入“gpedit.msc”。 单击“确定”，打开“本地组策略编辑器”。 选择“计算机配置 > Windows设置

查看更多 →

通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JD BCS erver的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDB CS erver服务，并至少有一个实例可连接客户端。在L

查看更多 →

远程登录 登录前准备类 远程连接类 VNC登录类 Windows远程登录报错类 Linux远程登录报错类

查看更多 →

远程登录 VNC登录类 Windows远程登录报错类 Linux远程登录报错类

查看更多 →

远程登录 远程连接Windows云主机报错：为安全考虑，已锁定该用户账户，原因是登录尝试或密码更改尝试过多

查看更多 →

on Host”，选择出问题的实例进行自动清除，然后重新进行连接。 图1 清除异常的实例 方法二（远端）：在VS Code的Terminal中删除“/home/ma-user/.vscode-server/bin/”下正在使用的文件，然后重新进行连接。 ssh -tt -o St

查看更多 →

on Host”，选择出问题的实例进行自动清除，然后重新进行连接。 图1 清除异常的实例 方法二（远端）：在VS Code的Terminal中删除“/home/ma-user/.vscode-server/bin/”下正在使用的文件，然后重新进行连接。 ssh -tt -o St

查看更多 →

远程连接Windows云 服务器 报错：没有远程登录的权限 问题描述 远程桌面连接时提示需要具有通过远程桌面服务进行登录的权限。 图1 缺失远程登录权限 处理方法 打开cmd运行窗口，并输入“gpedit.msc”。 单击“确定”，打开“本地组策略编辑器”。 选择“计算机配置 > Windows设置

查看更多 →

样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。

查看更多 →

IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten

查看更多 →

Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明

查看更多 →

IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

新建Spark样例工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project

查看更多 →

选择“用户 > 添加用户”，在新增用户界面，创建一个机机用户，例如developuser。 “用户组”需加入“hadoop”用户组。 “角色”加入2.a新增的角色。 使用admin用户登录FusionInsight Manager，选择“系统 > 权限 > 用户”，在用户名为developuser的操作列选择“更多

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。

查看更多 →

参考获取 MRS 应用开发样例工程，下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者，针对已使用过的IDEA工具，您可以从IDEA主界面直接添加。选择“File > Import project

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →