在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

maleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。

查看更多 →

maleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →

新建 MRS SparkSQL数据源连接 登录 DLV 管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“ MapReduce服务 MRS SparkSQL”，然后配置相关参数。

查看更多 →

创建SparkPack 企业ERP连接 前提：需先创建至少一个执行动作并发布后才能创建连接，见3.3封装接口 步骤1 集成工作台 -连接器-连接-创建连接-输入鉴权信息 把SparkPack 企业ERP连接器基于实际使用的SparkPack 企业ERP地址和鉴权信息维护到连接上。 父主题：

查看更多 →

创建SparkPack 企业ERP连接 前提：需先创建至少一个执行动作并发布后才能创建连接，见3.3封装接口 步骤1 集成工作台-连接器-连接-创建连接-选择连接器 把SparkPack 企业ERP连接器基于实际使用的SparkPack 企业ERP地址和鉴权信息维护到连接上。 父主题：

查看更多 →

shuffle操作时SASL认证的超时时间。单位：秒。 2000s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 3000s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 父主题：

查看更多 →

shuffle操作时SASL认证的超时时间。单位：秒。 2000s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 3000s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 父主题：

查看更多 →

本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc

查看更多 →

远程连接Windows 云服务器 报错：此计算机无法连接到远程计算机 问题描述 使用远程登录方式连接登录Windows云 服务器 时出现如下错误：此计算机无法连接到远程计算机。 图1 无法连接到远程计算机 可能原因 服务端安全组3389端口未开启。检查云 服务器端口 配置 服务端防火墙关闭。检查防火墙配置是否正常

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下。

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：

查看更多 →

远程连接Windows云服务器报错：此计算机无法连接到远程计算机 问题描述 使用远程登录方式连接登录Windows云服务器时出现如下错误：此计算机无法连接到远程计算机。 图1 无法连接到远程计算机 可能原因 服务端安全组3389端口未开启。检查云服务器端口配置 服务端防火墙关闭。检查防火墙配置是否正常

查看更多 →